WO2020248424A1 - 一种神经网络的量化参数确定方法及相关产品 - Google Patents

一种神经网络的量化参数确定方法及相关产品 Download PDF

Info

Publication number
WO2020248424A1
WO2020248424A1 PCT/CN2019/106801 CN2019106801W WO2020248424A1 WO 2020248424 A1 WO2020248424 A1 WO 2020248424A1 CN 2019106801 W CN2019106801 W CN 2019106801W WO 2020248424 A1 WO2020248424 A1 WO 2020248424A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
iteration
bit width
quantized
quantization
Prior art date
Application number
PCT/CN2019/106801
Other languages
English (en)
French (fr)
Inventor
刘少礼
孟小甫
张曦珊
郭家明
黄迪
张尧
陈煜�
刘畅
Original Assignee
上海寒武纪信息科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 上海寒武纪信息科技有限公司 filed Critical 上海寒武纪信息科技有限公司
Priority to CN201980005061.8A priority Critical patent/CN112400176A/zh
Priority to KR1020207038085A priority patent/KR102656332B1/ko
Priority to KR1020207038081A priority patent/KR20210018352A/ko
Priority to KR1020207038084A priority patent/KR102609719B1/ko
Priority to JP2020573207A priority patent/JP2021530769A/ja
Priority to EP19932304.9A priority patent/EP3998554A4/en
Publication of WO2020248424A1 publication Critical patent/WO2020248424A1/zh
Priority to US17/547,972 priority patent/US20220261634A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1476—Error detection or correction of the data by redundancy in operation in neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0495—Quantised networks; Sparse networks; Compressed networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2201/00—Indexing scheme relating to error detection, to error correction, and to monitoring
    • G06F2201/81—Threshold
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2201/00—Indexing scheme relating to error detection, to error correction, and to monitoring
    • G06F2201/865—Monitoring of software

Definitions

  • the embodiments of the present disclosure relate to a method for determining quantitative parameters of a neural network and related products.
  • Neural network is a mathematical model or calculation model that imitates the structure and function of biological neural networks. Through the training of sample data, the neural network continuously corrects the network weights and thresholds to make the error function drop in the direction of negative gradient and approach the expected output. It is a widely used recognition and classification model, which is mostly used for function approximation, model recognition and classification, data compression and time series forecasting.
  • the data of neural network is usually 32Bit, and the data of the existing neural network occupies more bits. Although the accuracy is ensured, it requires higher storage space and processing bandwidth, which increases the cost.
  • this disclosure proposes methods and related products for adjusting the data bit width.
  • the present disclosure provides a method for adjusting the data bit width, which is characterized in that the method includes:
  • the data bit width is adjusted based on the determined quantization error.
  • the present disclosure provides a device for adjusting the data bit width, including a memory and a processor.
  • the memory stores a computer program that can run on the processor.
  • the processor executes the computer program, the above-mentioned The steps of the method.
  • the present disclosure provides a computer-readable storage medium on which a computer program is stored, wherein the computer program is executed by a processor to implement the steps of the foregoing method.
  • the present disclosure provides a device for adjusting the data bit width, the device includes:
  • An obtaining unit configured to obtain a data bit width for performing quantization processing on the data to be quantized, the data bit width indicating the bit width of the quantized data after the quantization processing of the data to be quantized;
  • the quantization unit is configured to perform quantization processing on a group of to-be-quantized data based on the data bit width to convert the group of to-be-quantized data into a group of quantized data, and the group of quantized data has the data Bit width
  • a determining unit configured to compare the set of to-be-quantized data with the set of quantized data, and determine the quantization error associated with the data bit width
  • the adjustment unit is configured to adjust the data bit width based on the determined quantization error.
  • the technical solution of this disclosure is used to determine the data bit width during quantification.
  • the data bit width is used by the artificial intelligence processor to quantify the data in the neural network operation process and convert high-precision data into low-precision fixed data.
  • the number of points can reduce the size of all the data storage space involved in the neural network calculation process. For example: converting float32 to fix8 can reduce model parameters by 4 times. As the data storage space becomes smaller, a smaller space is used for neural network deployment, so that the on-chip memory on the artificial intelligence processor chip can hold more data, reducing the data access to the artificial intelligence processor chip, and improving computing performance.
  • Figure 1 is a schematic diagram of the neural network structure
  • Figure 2 is a flow chart of a method for determining quantized parameters of a neural network proposed in this disclosure
  • Figure 3 is a schematic diagram showing a symmetrical fixed-point number
  • Fig. 4 is a schematic diagram showing a fixed-point number that introduces an offset
  • Figure 5A is one of the graphs of the variation range of weight data of the neural network during the training process
  • Fig. 5B is the second graph of the variation range of weight data of the neural network during training
  • Figure 6 is one of the flowcharts of the method for determining the target iteration interval
  • Figure 7 is the second flow chart of the method for determining the target iteration interval
  • Fig. 8A is the third flowchart of the method for determining the target iteration interval
  • FIG. 8B shows a flowchart of a data bit width adjustment method in an embodiment of the present disclosure
  • FIG. 8C shows a flowchart of a data bit width adjustment method in another embodiment of the present disclosure.
  • FIG. 8D shows a flowchart of a data bit width adjustment method in another embodiment of the present disclosure.
  • FIG. 8E shows a flowchart of a data bit width adjustment method in still another embodiment of the present disclosure
  • FIG. 8F shows a flowchart of a neural network quantification method according to an embodiment of the present disclosure
  • FIG. 8G shows a flowchart of a neural network quantification method according to an embodiment of the present disclosure
  • FIG. 8H shows a flowchart of a neural network quantification method according to an embodiment of the present disclosure
  • Fig. 8I shows a flowchart of a neural network quantification method according to an embodiment of the present disclosure
  • FIG. 8J shows a flowchart of a neural network quantification method according to an embodiment of the present disclosure
  • FIG. 8K shows a flowchart of a quantization parameter adjustment method according to an embodiment of the present disclosure
  • FIG. 8L shows a change trend diagram of the data to be quantified in the operation process of an embodiment of the present disclosure
  • 8M shows a flowchart of a method for determining a target iteration interval in a parameter adjustment method of an embodiment of the present disclosure
  • FIG. 8N shows a flowchart of a method for determining the variation range of a point position in an embodiment of the present disclosure
  • FIG. 80 shows a flowchart of a method for determining a second average value in an embodiment of the present disclosure
  • FIG. 8P shows a flowchart of a method for determining a second average value in another embodiment of the present disclosure
  • FIG. 8Q shows a flowchart of a quantization parameter adjustment method according to another embodiment of the present disclosure.
  • FIG. 8R shows a flowchart of adjusting quantization parameters in a quantization parameter adjustment method of an embodiment of the present disclosure
  • 8S shows a flowchart of a method for determining a target iteration interval in a parameter adjustment method of another embodiment of the present disclosure
  • FIG. 8T shows a flowchart of a method for determining a target iteration interval in a parameter adjustment method according to another embodiment of the present disclosure
  • FIG. 8U shows a flowchart of a method for adjusting a quantization parameter according to another embodiment of the present disclosure
  • FIG. 8V shows a flowchart of a method for adjusting a quantization parameter according to still another embodiment of the present disclosure
  • FIG. 9 is a block diagram of the hardware configuration of a device for determining a quantitative parameter of a neural network proposed by the disclosure.
  • FIG. 10 is a schematic diagram of the application of the quantized parameter determination device of the neural network proposed in the disclosure to the artificial intelligence processor chip;
  • FIG. 11 is a functional block diagram of a device for determining quantitative parameters of a neural network proposed in this disclosure.
  • Fig. 12 is a structural block diagram of a board according to an embodiment of the disclosure.
  • Figure 2-1 shows a flowchart of a neural network quantification method according to an embodiment of the present disclosure.
  • Fig. 2-2 shows a flowchart of a neural network quantification method according to an embodiment of the present disclosure.
  • Figures 2-3 show a flowchart of a neural network quantification method according to an embodiment of the present disclosure.
  • Figures 2-4 show a flowchart of a neural network quantification method according to an embodiment of the present disclosure.
  • FIGS. 2-5 show the corresponding schematic diagrams of data before and after quantization when the quantization parameter in the neural network quantization method according to an embodiment of the present disclosure does not include an offset.
  • FIGS. 2-6 show a flowchart of a neural network quantification method according to an embodiment of the present disclosure.
  • FIGS 2-7 show schematic diagrams of data correspondence before and after quantization when the quantization parameter in the neural network quantization method according to an embodiment of the present disclosure includes an offset.
  • FIGS. 2-8 show a flowchart of a neural network quantification method according to an embodiment of the present disclosure.
  • FIGS. 2-9 show a flowchart of a neural network quantification method according to an embodiment of the disclosure.
  • FIGS. 2-10 show a flowchart of a neural network quantification method according to an embodiment of the present disclosure.
  • FIGS. 2-11 show a flowchart of a neural network quantification method according to an embodiment of the present disclosure.
  • FIGS. 2-12 show a flowchart of a neural network quantification method according to an embodiment of the present disclosure.
  • FIGS. 2-13 show a flowchart of a neural network quantification method according to an embodiment of the present disclosure.
  • FIGS. 2-14 show a flowchart of a neural network quantification method according to an embodiment of the present disclosure.
  • FIGS. 2-15 show a flowchart of a neural network quantification method according to an embodiment of the present disclosure.
  • FIGS. 2-16 show a flowchart of a neural network quantification method according to an embodiment of the present disclosure.
  • FIGS. 2-17 show a flowchart of a neural network quantification method according to an embodiment of the disclosure.
  • FIGS. 2-18 show a flowchart of a neural network quantification method according to an embodiment of the present disclosure.
  • FIGS. 2-19 show a flowchart of a neural network quantification method according to an embodiment of the disclosure.
  • FIGS. 2-20 show a flowchart of a neural network quantification method according to an embodiment of the disclosure.
  • FIGS. 2-21 show a flowchart of a neural network quantification method according to an embodiment of the present disclosure.
  • FIGS. 2-22 show a flowchart of a neural network quantification method according to an embodiment of the present disclosure.
  • 2-23 show a flowchart of a neural network quantification method according to an embodiment of the present disclosure.
  • FIGS. 2-24 show a flowchart of a neural network quantification method according to an embodiment of the disclosure.
  • FIGS. 2-25 show a flowchart of a neural network quantification method according to an embodiment of the present disclosure.
  • Figure 2-26 shows a schematic diagram of a neural network quantization device according to an embodiment of the present disclosure.
  • 2-27 show a schematic diagram of a neural network quantization device according to an embodiment of the present disclosure.
  • 2-28 show a schematic diagram of a neural network quantization device according to an embodiment of the disclosure.
  • Figure 2-29 shows a schematic diagram of a neural network quantization device according to an embodiment of the present disclosure.
  • FIGS. 2-30 show schematic diagrams of a neural network quantization device according to an embodiment of the disclosure.
  • Figure 2-31 shows a block diagram of a board according to an embodiment of the disclosure.
  • Figure 3-1 shows a schematic diagram of an application environment of a quantization parameter adjustment method according to an embodiment of the present disclosure
  • Figure 3-2 shows a schematic diagram of the correspondence between the data to be quantified and the quantified data according to an embodiment of the present disclosure
  • Figure 3-3 shows a schematic diagram of the conversion of data to be quantified according to an embodiment of the present disclosure
  • 3-4 shows a flowchart of a method for adjusting a quantization parameter according to an embodiment of the present disclosure
  • Figures 3-5 show the change trend diagram of the data to be quantified in the calculation process of an embodiment of the present disclosure
  • FIG. 3-6 show a flowchart of a method for determining a target iteration interval in a parameter adjustment method of an embodiment of the present disclosure
  • 3-7 show a flowchart of a method for determining the variation range of a point position in an embodiment of the present disclosure
  • 3-8 show a flowchart of a method for determining the second mean value in an embodiment of the present disclosure
  • 3-9 show a flowchart of a method for adjusting the data bit width in an embodiment of the present disclosure
  • 3-10 show a flowchart of a method for adjusting the data bit width in another embodiment of the present disclosure
  • 3-11 show a flow chart of a method for adjusting the data bit width in another embodiment of the present disclosure
  • 3-13 show a flowchart of a method for determining the second mean value in another embodiment of the present disclosure
  • 3-14 show a flowchart of a method for adjusting a quantization parameter according to another embodiment of the present disclosure
  • 3-15 show a flowchart of adjusting quantization parameters in a method for adjusting quantization parameters according to an embodiment of the present disclosure
  • 3-16 show a flowchart of a method for determining a target iteration interval in a parameter adjustment method of another embodiment of the present disclosure
  • 3-17 show a flowchart of a method for determining a target iteration interval in a parameter adjustment method according to another embodiment of the present disclosure
  • 3-18 show a flowchart of a method for adjusting a quantization parameter according to another embodiment of the present disclosure
  • 3-19 show a flow chart of a method for adjusting a quantization parameter according to another embodiment of the present disclosure
  • 3-20 show a structural block diagram of a quantization parameter adjustment device according to an embodiment of the present disclosure
  • 3-21 show a structural block diagram of a quantization parameter adjustment device according to an embodiment of the present disclosure
  • 3-22 show a structural block diagram of a quantization parameter adjustment device according to an embodiment of the present disclosure
  • 3-23 shows a structural block diagram of a quantization parameter adjustment device according to an embodiment of the present disclosure
  • 3-24 show a structural block diagram of a quantization parameter adjustment device according to an embodiment of the present disclosure
  • Figures 3-25 show a structural block diagram of a board according to an embodiment of the disclosure.
  • the term “if” can be interpreted as “when” or “once” or “in response to determination” or “in response to detection” depending on the context.
  • the phrase “if determined” or “if detected [described condition or event]” can be interpreted as meaning “once determined” or “response to determination” or “once detected [described condition or event]” depending on the context ]” or “in response to detection of [condition or event described]”.
  • the floating-point number representation in the computer is divided into three fields, which are respectively coded:
  • a single sign bit s directly encodes the sign s.
  • Fixed-point number Consists of three parts: shared exponent (exponent), sign bit (sign), and mantissa (mantissa).
  • the shared exponent means that the exponent is shared within a set of real numbers that need to be quantified;
  • the sign bit marks the positive or negative of the fixed-point number.
  • the mantissa determines the number of significant digits of the fixed-point number, that is, the precision. Taking the 8-bit fixed-point number type as an example, the numerical calculation method is:
  • any decimal number can be represented by the formula ⁇ j*10 i .
  • binary decimals can also be expressed in this way.
  • the left side of the decimal point is a positive power of 2
  • the right side of the decimal point is counted as a negative power of 2.
  • Overflow In fixed-point arithmetic, the number representation has a certain range. During the operation. If the size of the number exceeds the range that the fixed-point number can represent, it is called "overflow".
  • KL divergence also known as relative entropy (relative entropy), information divergence (information divergence), information gain (information gain).
  • KL divergence is a measure of the asymmetry of the difference between two probability distributions P and Q.
  • KL divergence is a measure of the number of extra bits required to encode the average of samples from P using Q-based coding.
  • P represents the true distribution of data
  • Q represents the theoretical distribution, model distribution, or approximate distribution of P.
  • Data bit width How many bits are used to represent the data.
  • Quantization The process of converting high-precision numbers expressed in the past with 32bit or 64bit into fixed-point numbers that take up less memory space. The process of converting high-precision numbers to fixed-point numbers will cause a certain loss in accuracy.
  • Neural network is a mathematical model that imitates the structure and function of a biological neural network.
  • the neural network is calculated by a large number of neuron connections. Therefore, a neural network is a computational model, which consists of a large number of nodes (or "neurons") connected to each other. Each node represents a specific output function, called an activation function. Each connection between two neurons represents a weighted value of the signal passing through the connection, called a weight, which is equivalent to the memory of a neural network.
  • the output of the neural network varies according to the connection method between neurons, as well as the weight and activation function.
  • the neuron is the basic unit of the neural network.
  • Connection is the connection of a neuron to another layer or another neuron in the same layer, and the connection is accompanied by the weight associated with it.
  • the bias is an additional input to the neuron, it is always 1 and has its own connection weight. This ensures that the neuron will activate even if all inputs are empty (all 0).
  • the neural network In application, if a non-linear function is not applied to the neurons in the neural network, the neural network is just a linear function, then it is not more powerful than a single neuron. If the output result of a neural network is between 0 and 1, for example, in the case of cat-dog identification, the output close to 0 can be regarded as a cat, and the output close to 1 can be regarded as a dog.
  • an activation function is introduced into the neural network, such as the sigmoid activation function.
  • FIG. 1 it is a schematic diagram of the neural network structure.
  • the hidden layer shown in Figure 1 is five layers. Among them, the leftmost layer of the neural network is called the input layer, and the neurons in the input layer are called input neurons.
  • the input layer is the first layer in the neural network, accepting the required input signals (values) and passing them to the next layer. It generally does not operate on the input signal (value), and has no associated weights and biases.
  • the hidden layer contains neurons (nodes) used to apply different transformations to the input data.
  • the neural network shown in Figure 1 there are 5 hidden layers.
  • the first hidden layer has 4 neurons (nodes)
  • the second layer has 5 neurons
  • the third layer has 6 neurons
  • the 4th layer has 4 neurons
  • the 5th layer has 3 neurons.
  • the hidden layer passes the calculated value of the neuron to the output layer.
  • the neural network shown in Figure 1 completely connects each neuron in the five hidden layers, that is, each neuron in each hidden layer is connected to each neuron in the next layer. It should be noted that not every hidden layer of neural network is fully connected.
  • FIG. 1 The rightmost layer of the neural network is called the output layer, and the neurons in the output layer are called output neurons.
  • the output layer receives the output from the last hidden layer.
  • the output layer has 3 neurons and 3 output signals y1, y2, and y3.
  • a large amount of sample data (including input and output) is given in advance to train the initial neural network, and after the training is completed, the trained neural network is obtained.
  • the neural network can give a correct output for the future input of the real environment.
  • the loss function is a function that measures the performance of a neural network in performing a specific task.
  • the loss function can be obtained as follows: in the process of training a certain neural network, for each sample data, the output value is passed along the neural network, and then the difference between the output value and the expected value is squared, so The calculated loss function is the distance between the predicted value and the true value, and the purpose of training the neural network is to reduce this distance or the value of the loss function.
  • the loss function can be expressed as:
  • y represents the expected value
  • i is the index of each sample data in the sample data set.
  • the error value between. m is the number of sample data in the sample data set.
  • the loss function In order to calculate the loss function, it is necessary to traverse each sample image in the sample data set to obtain the actual result corresponding to each sample image Then calculate the loss function according to the above definition. If the loss function is relatively large, then the neural network has not been trained well and the weights need to be further adjusted.
  • the weights should be initialized randomly. Obviously, the initialized neural network will not provide a good result. In the training process, suppose you start with a bad neural network. Through training, you can get a network with high accuracy.
  • the training process of the neural network is divided into two stages.
  • the first stage is the forward processing of the signal, from the input layer to the hidden layer, and finally to the output layer.
  • the second stage is to back-propagate the gradient, from the output layer to the hidden layer, and finally to the input layer. According to the gradient, the weight and bias of each layer in the neural network are adjusted in turn.
  • the input value is input to the input layer of the neural network, and the output of the so-called predicted value is obtained from the output layer of the neural network.
  • the input value is provided to the input layer of the neural network, it does nothing.
  • the second hidden layer obtains the predicted intermediate result value from the first hidden layer and performs calculation and activation operations, and then passes the obtained intermediate predicted result value to the next hidden layer. Perform the same operation in the subsequent layers, and finally get the output value in the output layer of the neural network.
  • an output value called the predicted value is obtained.
  • the predicted value is compared with the actual output value to obtain the corresponding error value.
  • Back propagation uses the chain rule of differential calculus.
  • the derivative of the error value corresponding to the last layer of the neural network is first calculated. Call these derivatives gradients, and then use these gradients to calculate the gradient of the penultimate layer in the neural network. Repeat this process until the gradient corresponding to each weight in the neural network is obtained. Finally, each weight value in the neural network is subtracted from the corresponding gradient, and the weight value is updated once to achieve the purpose of reducing the error value.
  • fine-tuning is to load the trained neural network.
  • the fine-tuning process is the same as the training process. It is divided into two stages. The first stage is the forward processing of the signal, and the second stage is the back propagation gradient. The weights of the passed neural network are updated.
  • the difference between training and fine-tuning is that training is to randomly process the initialized neural network and train the neural network from scratch, while fine-tuning is not.
  • the weights in the neural network are updated once using the gradient. This is called an iteration (iteration ).
  • iteration In order to obtain a neural network whose accuracy meets expectations, a very large sample data set is required during the training process. In this case, it is impossible to input the sample data set into the computer at once. Therefore, in order to solve this problem, the sample data set needs to be divided into multiple blocks, and each block is passed to the computer. After each block of the data set is processed forward, the weight of the neural network is updated correspondingly.
  • the data of the neural network is expressed in high-precision data formats, such as floating-point numbers, so in the training or fine-tuning process, the data involved are all high-precision data formats, and then the trained neural network is quantified. Take the quantified object as the weight of the entire neural network, and the quantized weights are all 8-bit fixed-point numbers. Since there are often millions of connections in a neural network, almost all spaces are connected by neurons. Occupied. Moreover, these weights are all different floating point numbers. The weights of each layer tend to a certain interval of normal distribution, such as (-3.0,3.0).
  • each floating-point value is represented by an 8-bit fixed-point number.
  • the interval is linearly divided into 256 quantization intervals within the range of the maximum value and the minimum value, and each quantization interval is represented by an 8-bit fixed-point number.
  • byte 0 means -3.0
  • byte 255 means 3.0.
  • byte 128 represents 0.
  • the floating-point arithmetic unit needs to consume more resources to process, so that the power consumption gap between fixed-point arithmetic and floating-point arithmetic is usually orders of magnitude.
  • the chip area and power consumption occupied by floating-point arithmetic are many times larger than fixed-point arithmetic.
  • floating-point arithmetic is usually preferred, mainly because in supervised learning neural networks, only floating-point arithmetic can record and capture the small amount of training. Increment. Then, how to greatly improve the computing power of the chip for training without increasing the chip area and power consumption of the artificial intelligence processor is a problem that needs to be solved urgently.
  • the fixed-point number represented by low bit width is used for training. According to practical feedback, it is necessary to use a fixed-point number higher than 8-bit to process the back propagation gradient, which makes the fixed-point number represented by low bit width be used for training. The process is extremely complicated. How to replace the fixed-point arithmetic unit with the floating-point arithmetic unit to achieve the speed of fixed-point operation, improve the peak computing power of the artificial intelligence processor chip and meet the accuracy of the floating-point operation required for the operation is the technical problem solved in this manual.
  • one characteristic of the neural network is its high tolerance to input noise. If you consider recognizing objects in photos, the neural network can ignore the main noise and focus on important similarities. This function means that the neural network can use low-precision calculations as a noise source, and can still produce accurate prediction results in a numerical format that contains less information. To do low-precision training or fine-tuning, it is necessary to find a universal data representation that can not only improve the overflow of data, but also better express the data near 0 within the target interval. Therefore, this data indicates the need for adaptability, which can be adjusted along with the training or fine-tuning process.
  • FIG. 2 a flow chart of a method for determining quantized parameters of a neural network proposed for this disclosure is shown.
  • the quantization parameters determined by the technical solution shown in FIG. 2 are used to represent the data to be quantized, so as to confirm the number of fixed points after quantization.
  • the quantified fixed-point number is used for training, fine-tuning or reasoning of the neural network.
  • the method includes:
  • Step 201) Count the data to be quantified, and determine the statistical result of each kind of data to be quantified; wherein the data to be quantified includes at least one of the neuron, weight, gradient, and bias of the neural network.
  • each layer of the neural network includes four types of data, which are neurons, weights, gradients, and biases.
  • each layer of the neural network includes three types of data, namely neurons, weights and biases. These data are expressed in high-precision data format.
  • This manual uses floating-point numbers as high-precision data as an example. It should be clear that the floating-point number as an example is only a partial list of examples, rather than an exhaustive list. Those skilled in the art may produce other technical solutions on the basis of the technical solutions of this disclosure if they understand the essence of the technical solutions.
  • the high-precision data can be a fixed-point number with a large range and a low minimum precision and a high data bit width, which can be converted into a fixed-point number with a low data bit width using this technical solution.
  • the functions and technical effects achieved are similar to those of this disclosure, they should fall within the protection scope of this disclosure.
  • the data to be quantified includes at least one of the neurons, weights, gradients, and biases of the neural network.
  • the data to be quantified It includes at least one data of neurons, weights, and biases of the neural network.
  • the data to be quantified can be the ownership value of a certain layer in the neural network, or part of the weight value of a certain layer in the neural network.
  • the data to be quantized may also be the ownership value or part of the weight value in the convolutional layer in units of channels, and the channel is all or part of the channels of the convolutional layer. It needs to be emphasized that only the convolutional layer has the concept of channels, and in the convolutional layer, only the weight layer is quantized in the way of channels.
  • the data to be quantified is the neuron and the weight of the target layer in the neural network as an example, and the technical solution is described in detail.
  • the neurons and weights of each layer in the target layer are separately counted to obtain the maximum and minimum values of each type of data to be quantized, and the maximum absolute value of each type of data to be quantized can also be obtained.
  • the target layer as the layer that needs to be quantified in the neural network, can be one layer or multiple layers. With one layer as the unit, the absolute maximum value of each data to be quantized can be confirmed by the maximum and minimum values in each data to be quantized. It is also possible to first obtain the absolute value of each type of data to be quantized, and traverse the results after obtaining the absolute value to obtain the maximum value of the absolute value of each type of data to be quantized.
  • the reason why the absolute maximum value of each data to be quantized is obtained according to the maximum and minimum values of each data to be quantized is that during quantization, under normal circumstances, the target layer of each layer to be quantized The maximum and minimum values corresponding to the data are saved, and there is no need to consume more resources to find the absolute value of the quantized data, and the absolute maximum value can be obtained directly based on the maximum and minimum values corresponding to the saved data to be quantified.
  • Step 202) Determine the corresponding quantization parameter by using the statistical result and the data bit width of each type of data to be quantized; wherein the quantization parameter is used by the artificial intelligence processor to correspondingly quantify the data in the neural network operation process.
  • the quantization parameter can be divided into the following six situations.
  • the following formula (1) can be used to quantize the data to be quantized to obtain the quantized data I x :
  • s is the point position parameter
  • I x is the n-bit binary representation value of the data x after quantization
  • F x is the floating point value of the data x before quantization
  • round is the rounding operation performed by rounding. It should be noted that this is not only limited to the rounding operation, but other rounding operations can also be used, such as: rounding up, rounding down, and rounding to zero. Replace the round operation in formula (1).
  • n-bit fixed-point number can represent the maximum value of floating-point number A is 2 s (2 n-1 -1), then n-bit fixed-point number can represent the maximum value in the number field of the data to be quantized as 2 s (2 n -1 -1), n-bit fixed-point number can indicate that the minimum value in the number field of the data to be quantized is -2 s (2 n-1 -1). It can be seen from equation (1) that when the quantization parameter corresponding to the first case is used to quantize the data to be quantized, the quantization interval is 2 s and the quantization interval is denoted as C.
  • the quantized n-bit binary representation value I x of data x is dequantized to obtain dequantized data
  • the dequantized data The data format of is the same as the data format of the corresponding data F x before quantization, and both are floating point values.
  • the quantization parameter is the first scaling factor f 1 .
  • the following formula (4) can be used to quantize the data to be quantized to obtain the quantized data I x :
  • f 1 is the first scaling factor
  • I x is the n-bit binary representation value after data x is quantized
  • F x is the floating point value before data x is quantized
  • round is the rounding operation performed by rounding. It should be noted that this is not only limited to the rounding operation, but other rounding operations can also be used, such as: rounding up, rounding down, and rounding to zero. Replace the round operation in formula (4). It can be seen from formula (4) that when the quantization parameter corresponding to the second case is used to quantize the data to be quantized, the quantization interval is f 1 and the quantization interval is denoted as C.
  • the point position parameter s is a fixed known value and no longer changes.
  • Set 2 s T, and T is a fixed value.
  • a fixed point number of n bits can be used
  • the maximum value A of floating-point numbers is (2 n-1 -1) ⁇ T. In this case, the maximum value A depends on the data bit width n.
  • the n-bit fixed-point number can indicate that the maximum value in the number field of the data to be quantized is (2 n-1 -1) ⁇ f 1
  • the n-bit fixed-point number can indicate that the minimum value in the number field of the data to be quantized is -(2 n-1 -1) ⁇ f 1
  • 2 s ⁇ f 2 as a whole is used as the first scaling factor f 1 . At this time, it can be regarded as there is no independent point position parameter s.
  • f 2 is the second scaling factor.
  • the n-bit fixed-point number can indicate that the maximum value in the number field of the data to be quantized is (2 n-1 -1) ⁇ f 1
  • the n-bit fixed-point number can indicate that the minimum value in the number field of the data to be quantized is -(2 n-1 -1) ⁇ f 1 .
  • the quantized n-bit binary representation value I x of data x is dequantized to obtain dequantized data
  • the dequantized data The data format of is the same as the data format of the corresponding data F x before quantization, and both are floating point values.
  • the quantization parameter is the point position parameter s and the second scaling factor f 2 .
  • the following formula (6) can be used to quantize the data to be quantized to obtain the quantized data I x :
  • s is the point position parameter
  • f 2 is the second scaling factor
  • I x is the n-bit binary representation value after the quantization of the data x
  • F x is the floating point value before the quantization of the data x
  • round is the rounding operation. It should be noted that this is not only limited to the rounding operation, but other rounding operations can also be used, such as: rounding up, rounding down, and rounding to zero. Replace the round operation in formula (6).
  • the maximum value A in the number field of the data to be quantized that can be represented by a fixed-point number of n bits is 2 s (2 n-1 -1). It can be seen from formula (6) that when the quantization parameter corresponding to the third case is used to quantize the data to be quantized, the quantization interval is 2 s ⁇ f 2 , and the quantization interval is denoted as C.
  • the n-bit fixed-point number can indicate that the maximum value in the number field of the data to be quantized is (2 n-1 -1) ⁇ 2 s ⁇ f 2
  • the n-bit fixed-point number can indicate that the minimum value in the number field of the data to be quantized is -(2 n-1 -1) ⁇ 2 s ⁇ f 2 .
  • the quantized n-bit binary representation value I x of data x is inversely quantized to obtain inverse quantized data
  • the dequantized data The data format of is the same as the data format of the corresponding data F x before quantization, and both are floating point values.
  • a symmetrical fixed-point number represents a schematic diagram.
  • the number field of the data to be quantized shown in FIG. 3 is distributed with "0" as the symmetric center.
  • Z is the maximum absolute value of all floating-point numbers in the number domain of the data to be quantized.
  • A is the maximum value of a floating-point number that can be represented by an n-bit fixed-point number.
  • the conversion of a floating-point number A to a fixed-point number is 2 n-1 -1.
  • A needs to include Z.
  • the floating-point data in the process of neural network operations tends to have a normal distribution in a certain interval, but it does not necessarily satisfy the distribution with "0" as the symmetric center.
  • an offset is introduced in the quantization parameter, as shown in Figure 4.
  • the number field of the data to be quantized is not distributed with "0" as the symmetric center
  • Z min is the minimum value of all floating-point numbers in the number field of the data to be quantized
  • Z max is all floating points in the number field of the data to be quantized.
  • P is the center point between Z min and Z max .
  • the number field of the data to be quantized is shifted as a whole, so that the number field of the data to be quantized after translation is distributed with "0" as the symmetric center.
  • the maximum absolute value in the number field is Z. It can be seen from FIG. 4 that the offset is the horizontal distance from point "0" to point "P”, and this distance is called offset O. among them,
  • the quantization parameter includes the point position parameter and the offset.
  • the following formula (8) can be used to quantize the data to be quantized to obtain quantized data I x :
  • s is the point position parameter
  • O is the offset
  • I x is the n-bit binary representation value after the quantization of the data x
  • F x is the floating point value before the quantization of the data x
  • round is the rounding operation. It should be noted that this is not only limited to the rounding operation, but other rounding operations can also be used, such as: rounding up, rounding down, and rounding to zero. Replace the round operation in formula (8).
  • n-bit fixed-point number can represent the maximum value of floating-point number A is 2 s (2 n-1 -1), then n-bit fixed-point number can represent the maximum value in the number field of the data to be quantized as 2 s (2 n -1 -1)+O, n-bit fixed-point number can indicate that the minimum value in the number field of the data to be quantized is -2 s (2 n-1 -1)+O. It can be seen from equation (8) that when the quantization parameter corresponding to the fourth case is used to quantize the data to be quantized, the quantization interval is 2 s and the quantization interval is denoted as C.
  • the quantized n-bit binary representation value I x of data x is inversely quantized to obtain inverse quantized data
  • the dequantized data The data format of is the same as the data format of the corresponding data F x before quantization, and both are floating point values.
  • the quantization parameter includes the first scaling factor f 1 and the offset O.
  • the following formula (10) can be used to quantify the quantized data to obtain quantized data I x :
  • f 1 is the first scaling factor
  • O is the offset
  • I x is the n-bit binary representation value after data x is quantized
  • F x is the floating point value before data x is quantized
  • round is the rounding operation performed by rounding.
  • this is not only limited to the rounding operation, but other rounding operations can also be used, such as: rounding up, rounding down, and rounding to zero. Replace the round operation in formula (10).
  • the point position parameter s is a fixed known value and no longer changes.
  • Set 2 s T
  • T is a fixed value.
  • the maximum value A of floating-point numbers that can be represented by n-bit fixed-point numbers is (2 n-1 -1) ⁇ T.
  • the maximum value A depends on the data bit width n.
  • the n-bit fixed-point number can indicate that the maximum value in the number field of the data to be quantized is (2 n-1 -1) ⁇ f 1
  • the n-bit fixed-point number can indicate that the minimum value in the number field of the data to be quantized is -(2 n-1 -1) ⁇ f 1 .
  • the n-bit fixed-point number can indicate that the maximum value in the number field of the data to be quantized is (2 n-1 -1) ⁇ f 1 +O, and the n-bit fixed-point number can indicate that the minimum value in the number field of the data to be quantized is -(2 n -1 -1) ⁇ f 1 +O.
  • the quantized n-bit binary representation value I x of data x is dequantized to obtain dequantized data
  • the dequantized data The data format of is the same as the data format of the corresponding data F x before quantization, and both are floating point values.
  • the quantization parameter includes the point position parameter, the second scaling factor f 2 and the offset O.
  • the following formula (12) can be used to quantize the quantized data to obtain quantized data I x :
  • s is the point position parameter
  • the offset is O
  • f 2 is the second scaling factor
  • I x is the n-bit binary representation value after the quantization of the data x
  • F x is the floating point value before the quantization of the data x
  • round is the rounding operation. It should be noted that this is not only limited to the rounding operation, but other rounding operations can also be used, such as: rounding up, rounding down, and rounding to zero. Replace the round operation in formula (12).
  • the maximum value A in the number field of the data to be quantized that can be represented by a fixed-point number of n bits is 2 s (2 n-1 -1). It can be seen from equation (12) that when the quantization parameter corresponding to the sixth case is used to quantize the data to be quantized, the quantization interval is 2 s ⁇ f 2 , and the quantization interval is denoted as C.
  • Z can be accurately expressed without loss.
  • f 2 1
  • the n-bit fixed-point number can indicate that the maximum value in the number field of the data to be quantized is (2 n-1 -1) ⁇ 2 s ⁇ f 2 +O
  • the n-bit fixed-point number can indicate that the minimum value in the number field of the data to be quantized is- (2 n-1 -1) ⁇ 2 s ⁇ f 2 +O.
  • the quantized n-bit binary representation value I x of data x is dequantized to obtain dequantized data
  • the dequantized data The data format of is the same as the data format of the corresponding data F x before quantization, and both are floating point values.
  • the data bit width n can be manually set. In the range of different iteration times, call the corresponding data bit width n set in advance.
  • This adjustment method of artificially setting the data bit width in advance basically does not meet the requirements of practical applications.
  • the data bit width n is adjusted according to the quantization error diff bit .
  • the quantization error diff bit is compared with the threshold, and the comparison result is obtained.
  • the threshold value includes a first threshold value and a second threshold value, and the first threshold value is greater than the second threshold value
  • the comparison result has three cases, the first case is: the quantization error diff bit is greater than or equal to the first threshold value, in this case, The data bit width is increased.
  • the second case is: the quantization error diff bit is less than or equal to the second threshold. In this case, the data bit width is reduced.
  • the third case is that the quantization error diff bit is between the first threshold and the second threshold. In this case, the data bit width remains unchanged.
  • the first threshold and the second threshold may be empirical values or variable hyperparameters. Conventional hyperparameter optimization methods are suitable for both the first threshold and the second threshold, and the hyperparameter optimization scheme will not be repeated here.
  • the data bit width can be adjusted according to a fixed number of bits, or according to the difference between the quantization error and the error threshold, the data bit width can be adjusted according to the variable adjustment step.
  • the actual needs of the neural network operation process adjust the data bit width longer or shorter.
  • the data bit width n of the current convolutional layer is 16, and the data bit width n is adjusted to 12 according to the quantization error diff bit . That is to say, in practical applications, the data bit width n is 12 instead of 16 to meet the accuracy requirements in the neural network operation process, so that the fixed-point operation speed can be greatly increased within the accuracy allowable range. Thereby improving the resource utilization rate of the artificial intelligence processor chip.
  • the quantization error diff bit is determined according to the quantized data and the corresponding data before quantization.
  • the quantization error determination methods there are three quantization error determination methods, all of which are applicable to this technical solution.
  • the first way Determine the quantization error according to formula (14) according to the quantization interval, the number of quantized data, and the corresponding data before quantization.
  • C is the corresponding quantization interval during quantization
  • m is the number of quantized data obtained after quantization
  • F i is the corresponding floating point value to be quantized
  • i is the subscript of the data in the data set to be quantized.
  • the second method Determine the quantization error diff bit according to formula (15) according to the quantized data and the corresponding inverse quantization data.
  • F i is the corresponding floating point value to be quantized
  • i is the subscript of the data in the data set to be quantized.
  • I is the dequantized data corresponding to the floating point value.
  • the third way Determine the quantization error diff bit according to formula (16) according to the quantized data and the corresponding inverse quantization data.
  • F i is the corresponding floating point value to be quantized
  • i is the subscript of the data in the data set to be quantized.
  • I is the dequantized data corresponding to the floating point value.
  • Fig. 5a is one of the graphs of the variation range of the weight data of the neural network during the training process.
  • Figure 5b is the second graph of the variation range of the weight data of the neural network during the training process.
  • the abscissa indicates the number of iterations, and the ordinate indicates the maximum value of the weight after taking the logarithm.
  • the weight data variation amplitude curve shown in FIG. 5a shows the variation of weight data corresponding to different iterations in the same epoch of any convolution layer of the neural network.
  • the conv0 layer corresponds to the weight data change amplitude curve A
  • the conv1 layer corresponds to the weight data change amplitude curve B
  • the conv2 layer corresponds to the weight data change amplitude curve C
  • the conv3 layer corresponds to the weight data change amplitude curve D
  • conv4 The layer corresponds to the weight data variation range curve e. It can be seen from Fig. 5a and Fig. 5b that in the same epoch, in the initial training stage, the weight change range of each iteration is relatively large. In the middle and late stages of training, the change of weights in each iteration will not be too large.
  • the weight data of the corresponding layer of each generation has similarity within a certain iteration interval.
  • the data bit width used in the quantization of the corresponding layer in the previous iteration can be used.
  • the corresponding layer quantization used in the previous iteration is used.
  • the data bit width quantizes the weight data of the corresponding layer of the current generation, or quantizes the weight data of the current layer based on the preset data bit width n of the current layer to obtain the quantized fixed point number.
  • the data bit width n or the current quantization of the corresponding layer in the previous iteration The preset data bit width n of the layer is adjusted, and the adjusted data bit width is applied to the quantization of the weight data of the corresponding layer in the current iteration.
  • the weight data between each layer of the neural network is independent of each other and does not have similarity. Because the weight data does not have similarity, the neuron data between each layer is also independent of each other and does not have similarity. Therefore, in the process of neural network training or fine-tuning, the data bit width of each layer in each iteration of the neural network is only applicable to the corresponding neural network layer.
  • the data bit widths corresponding to the neuron data and the gradient data are also the same, which will not be repeated here.
  • the weight data between each layer of the neural network is independent of each other and does not have similarity. Because the weight data does not have similarity, the neuron data between each layer is also independent of each other and does not have similarity. Therefore, in the neural network inference process, the data bit width of each layer of the neural network is applied to the corresponding layer.
  • the input neuron data each time in the inference process is likely to be different or dissimilar, and because the weight data between each layer of the neural network is independent of each other, then each of the hidden layers of the neural network The input neuron data of the layers are not similar.
  • the data bit width used by the input neuron data of the previous layer is not suitable for the input neuron data of the current layer.
  • the input neuron data of the current layer is quantified using the data bit width used in the quantization of the input neuron data of the previous layer, or based on the current layer
  • the preset data bit width n quantifies the input neuron data of the current layer to obtain the quantized fixed point number.
  • the bit width n or the preset data bit width n of the current layer is adjusted, and the adjusted data bit width is applied to the quantization of the input neuron data of the current layer.
  • the data bit width corresponding to the weight data is also the same, which is not repeated here.
  • the quantization parameter of each layer in each iteration of the neural network is applied to the corresponding data to be quantized in the corresponding layer.
  • the quantization parameters corresponding to the neuron data and the gradient data are also the same, which will not be repeated here.
  • the weight data between each layer of the neural network is independent of each other and does not have similarity. Because the weight data does not have similarity, the neuron data between each layer is also independent of each other and does not have similarity. Therefore, in the neural network inference process, the quantization parameters of each layer of the neural network are applied to the data to be quantified in the corresponding layer.
  • the current layer of the neural network is the convolutional layer.
  • the quantization parameter of the data to be quantized in the current convolutional layer is obtained according to the technical scheme shown in Figure 2. The quantization parameter can only be applied to the current The convolutional layer cannot be applied to other layers of the neural network, even if other layers are convolutional layers.
  • the extension strategy of the data bit width and quantization parameter is determined based on the similarity between the data. If the data is similar, the data bit width and the quantization parameter can be used. For similarity, the data bit width or quantization parameter needs to be adjusted.
  • the measure of similarity between data is usually measured by KL divergence, and it can also be measured by the following formula (17).
  • the above-described methods for confirming quantization errors, adjusting data bit width, data bit width and quantization parameter extension strategies are only examples, not exhaustive, such as: the above The method of confirming the quantization error, the method of adjusting the data bit width, the strategy of extending the data bit width and the quantization parameter are all suitable for the fine-tuning process of the neural network.
  • the above-mentioned KL divergence and the similarity measurement method of formula (17) are just examples, not exhaustive, such as: histogram matching method , Matrix decomposition method, image similarity calculation method based on feature points, proximity measurement standard method, etc.
  • the weight data of the corresponding layer of each iteration has similarity within a certain iteration interval.
  • the solution has better applicability in training or fine-tuning to meet the requirements of artificial intelligence processor chip resources to achieve reasonable applications.
  • a strategy is needed to determine the iteration interval so that within the iteration interval, the corresponding layer of each iteration
  • the data bit width n remains unchanged, beyond the iteration interval, the data bit width n will change, and there is no need to determine whether to adjust the data bit width n generation by generation.
  • the quantization parameter is the same, so as to improve the peak computing power of the artificial intelligence processor chip while meeting the accuracy of floating-point operations required for quantization.
  • the target iteration interval includes at least one weight update iteration, and the same data bit width is used in the quantization process within the same target iteration interval.
  • the step of determining the target iteration interval includes:
  • Step 601) At a predictive time point, determine the change trend value of the position parameter of the corresponding point of the data to be quantified during the weight iteration process; wherein the predictive time point is used to determine whether the data bit width needs to be adjusted.
  • the time point at which the adjustment is made, and the predicted time point corresponds to the time point when the weight update iteration is completed.
  • the change trend value of the point position parameter is based on the weight value corresponding to the current prediction time point.
  • the moving average of the point position parameter during the iteration process, and the value corresponding to the previous prediction time point The moving average of the point position parameters in the weight iteration process is determined, or according to the point position parameter in the weight iteration process corresponding to the current predictive time point, and the point position in the weight iteration process corresponding to the last predictive time point
  • the moving average of the parameters is determined.
  • Equation 18 is:
  • M is the moving average of the point position parameter s increasing with training iterations.
  • M (t) is the moving average of the point position parameter s corresponding to the t-th predictive time point increasing with the training iteration
  • M (t) is obtained according to formula (19 ) .
  • s (t) is the point position parameter s corresponding to the t-th predictive time point.
  • M (t-1) is the sliding average value of the point position parameter s corresponding to the t-1th predictive time point
  • ⁇ is the hyperparameter.
  • diff update1 measures the change trend of the point position parameter s, because the change of the point position parameter s is also reflected in disguised form in the change of the maximum value Z max in the current data to be quantified. The larger the diff update1 is, it indicates that the value range changes drastically, and an update frequency with a shorter interval is required, that is, the target iteration interval is smaller.
  • Step 602 Determine the corresponding target iteration interval according to the change trend value of the point position parameter.
  • the target iteration interval is determined according to equation (20).
  • the same data bit width is used in the quantization process within the same target iteration interval, and the data bit width used in the quantization process within different target iteration intervals may be the same or different.
  • I is the target iteration interval.
  • diff update1 is the change trend value of the point position parameter.
  • ⁇ and ⁇ are empirical values, and can also be variable hyperparameters. Conventional hyperparameter optimization methods are all suitable for ⁇ and ⁇ , and the optimization scheme of hyperparameters will not be repeated here.
  • the predictive time point includes the first predictive time point, and the first predictive time point is determined according to the target iteration interval. Specifically, at the t-th predictive time point in the training or fine-tuning process, the weight data of the corresponding layer of the current iteration is quantized using the data bit width used in the quantization of the corresponding layer of the previous iteration to obtain the quantized fixed value. For the number of points, the quantization error diff bit is determined according to the weight data before quantization and the corresponding weight data before quantization. The quantization error diff bit is compared with the first threshold and the second threshold respectively, and the comparison result is used to determine whether to adjust the data bit width used in the quantization of the corresponding layer in the previous iteration.
  • the t-th first predictive time point corresponds to the 100th iteration
  • the data bit width used in the 99th iteration is n 1 .
  • the quantization error diff bit is confirmed according to the data bit width n 1 and the quantization error diff bit is compared with the first threshold and the second threshold to obtain the comparison result. If it is confirmed according to the comparison result that the data bit width n 1 does not need to be changed, use equation (20) to confirm that the target iteration interval is 8 iterations.
  • the 100th iteration is used as the initial iteration within the current target iteration interval, then the 100th to the first The 107th iteration is regarded as the current target iteration interval.
  • the 101st to 108th iterations are regarded as the current target iteration interval.
  • each generation still uses the data bit width n 1 used in the previous target iteration interval.
  • the data bit width used in quantization between different target iteration intervals can be the same. If the 100th to 107th iterations are used as the current target iteration interval, the 108th iteration within the next target iteration interval is regarded as the t+1 first predictive time point.
  • the quantization error diff bit is confirmed according to the data bit width n 1 , and the quantization error diff bit is compared with the first threshold and the second threshold to obtain the comparison result. According to the comparison result, it is determined that the data bit width n 1 needs to be changed to n 2 , and formula (20) is used to confirm that the target iteration interval is 55 iterations.
  • the 108th iteration to the 163rd iteration or the 109th iteration to the 163rd iteration are used as the target iteration interval, and the data bit width n 2 is used for each generation when quantizing within the target iteration interval.
  • the data bit width used in quantization can be different between different target iteration intervals.
  • formula (18) is applicable to obtain the change trend value of the point position parameter. If the first prediction time point at the current moment is the starting iteration of the current target iteration interval, then in formula (18), M (t) is the point position parameter corresponding to the time point corresponding to the starting iteration of the current target iteration interval s is the moving average of the increase of training iterations, s (t) is the point position parameter s corresponding to the time point of the initial iteration of the current target iteration interval, and M (t-1) is the start of the previous target iteration interval The moving average of the point position parameter s corresponding to the corresponding time point of the iteration increases with the training iteration.
  • M (t) is the point position parameter corresponding to the time point corresponding to the last iteration of the current target iteration interval s is the moving average value that increases with the training iteration
  • s (t) is the point position parameter s corresponding to the last iteration of the current target iteration interval
  • M (t-1) is the last target iteration interval
  • the prediction time point may also include the second prediction time point.
  • the second predictive time point is determined according to the data variation range curve. Based on the data fluctuation range of the big data in the neural network training process, the data fluctuation range curve as shown in FIG. 5a is obtained.
  • the data variation range curve shown in Fig. 5a it can be seen from the data variation range curve shown in Fig. 5a that from the start of training to the T-th iteration, the data variation range is very large every time the weight is updated.
  • the current iteration first uses the data bit width n 1 of the previous iteration to quantize, and the quantization result obtained and the corresponding data before quantization determine the corresponding quantization error.
  • the quantization error is respectively the same as the first
  • the threshold and the second threshold are compared, and the data bit width n 1 is adjusted according to the comparison result to obtain the data bit width n 2 .
  • Use the data bit width n 2 to quantify the weight data to be quantized involved in the current iteration.
  • the target iteration interval according to formula (20), thereby determining the first predictive time point, at the first predictive time point, determine whether to adjust the data bit width and how to adjust, and determine the next target iteration interval according to formula (20) To get the next first prediction time point. Since the interval between the start of training and the T-th iteration, the weight data changes before and after each iteration are very large, so that the weight data of the corresponding layer of each iteration does not have similarity. In order to meet the accuracy problem, quantify When the data of each layer of the current iteration cannot continue to use the corresponding quantization parameter of the corresponding layer of the previous iteration, the data bit width can be adjusted for the first T iterations.
  • the quantization is used for each iteration of the previous T iterations.
  • the data bit width of is different, and the target iteration interval is 1 iteration.
  • the target iteration interval of the previous T iterations can be preset in advance according to the law revealed by the data variation curve graph shown in Figure 5a, that is: according to the data variation curve before The target iteration interval of T iterations is directly preset, and there is no need to confirm through formula (20) that the weight update corresponding to each iteration of the previous T iterations is completed as the second predictive time point. This makes the resources of the artificial intelligence processor chip more reasonable.
  • the data change amplitude curve shown in Figure 5a has little change from the Tth iteration. In the middle and late stages of training, the quantization parameters are not reconfirmed for generations. At the Tth iteration or the T+1th iteration, use the current time The iteration corresponds to the data before quantization and the data after quantization to determine the quantization error. According to the quantization error, it is determined whether the data bit width needs to be adjusted and how to adjust, and the target iteration interval is also determined according to formula (20).
  • the confirmed target iteration interval is 55 iterations, this requires the time point corresponding to 55 iterations after the Tth iteration or the T+1th iteration as the first predictive time point to determine whether to adjust the data bit width and How to adjust, and determine the next target iteration interval according to formula (20), so as to determine the next first predictive time point, until all algebraic operations in the same epoch are completed.
  • adaptive adjustments are made to the data bit width or quantization parameters, and finally the quantized data is used to obtain a neural network whose accuracy meets the expectations.
  • the value of T is determined to be 130 according to the graph of the variation range of weight data shown in Fig. 5a (this value does not correspond to Fig. 5a.
  • the 130th iteration in the training process is regarded as the second prediction time point, and the current first prediction time point is the 100th iteration in the training process.
  • the formula (20) Determine the target iteration interval as 35 iterations. In the target iteration interval, train to the 130th iteration and reach the second predictive time point.
  • Equation (20) determines the target iteration interval.
  • the target iteration interval determined in this case is 42 iterations.
  • the 135th iteration corresponding to the first predictive time point determined when the target iteration interval is 35 iterations is within the target iteration interval of 42 iterations.
  • the second prediction time point is preset in advance according to the data variation curve.
  • the data bit width is directly adjusted according to the quantization error, and the adjusted data bit width is used to quantify the data to be quantized involved in the current iteration.
  • the target iteration interval is obtained according to formula (20) to determine the corresponding first predictive time point, and at each first predictive time point, it is determined whether to adjust the data bit width and how to adjust. In this way, while satisfying the accuracy of floating-point operations required by neural network operations, the resources of the artificial intelligence processor chip are reasonably used, which greatly improves the efficiency of quantization.
  • the step of determining the target iteration interval includes:
  • Step 701) Determine the change trend value of the position parameter of the corresponding point of the data to be quantified and the change trend value of the data bit width during the weight iteration process at the predicted time point; wherein, the predicted time point is used to judge Whether the data bit width needs to be adjusted at the time point, the pre-judged time point corresponds to the time point when the weight update iteration is completed.
  • the change trend value of the data bit width is determined by using the corresponding quantization error.
  • ⁇ is the hyperparameter
  • diff bit is the quantization error
  • diff update2 is the change trend value of the data bit width.
  • diff update2 measures the changing trend of the data bit width n used in quantization. The larger the diff update2 , the more likely it is to update the fixed-point bit width, and a shorter update frequency is required.
  • the change trend value of the point position parameter involved in FIG. 7 can still be obtained according to formula (18), and the M (t) in formula (18) can be obtained according to formula (19).
  • diff update1 measures the change trend of the point position parameter s, because the change of the point position parameter s is also reflected in disguised form in the change of the maximum value Z max in the current data to be quantified. The larger the diff update1 is, it indicates that the value range changes drastically, and an update frequency with a shorter interval is required, that is, the target iteration interval is smaller.
  • Step 702 Determine the corresponding target iteration interval according to the change trend value of the point position parameter and the change trend value of the data bit width.
  • the target iteration interval is determined according to formula (22).
  • the same data bit width is used in the quantization process within the same target iteration interval, and the data bit width used in the quantization process within different target iteration intervals may be the same or different.
  • I is the target iteration interval.
  • ⁇ and ⁇ are hyperparameters.
  • diff update1 is the change trend value of the point position parameter.
  • diff update2 is the change trend value of the data bit width.
  • ⁇ and ⁇ are empirical values, and can also be variable hyperparameters. Conventional hyperparameter optimization methods are all suitable for ⁇ and ⁇ , and the optimization scheme of hyperparameters will not be repeated here.
  • diff update1 is used to measure the change of the point position parameter s, but the change of the point position parameter s caused by the change of the data bit width n should be ignored. Because this has already reflected the change of data bit width n in diff update2 . If this neglected operation is not done in diff update1 , then the target iteration interval I determined according to formula (22) is inaccurate, resulting in too many first prediction time points, and it is easy to do it frequently during training or fine-tuning The operation of whether the data bit width n is updated and how to update, thus causing the artificial intelligence processor chip's resources to not be reasonably used.
  • diff update1 is determined according to M (t) . Assuming that the data bit width corresponding to the t-1th predictive time point is n 1 , the corresponding point position parameter is s 1 , and the moving average of the point position parameter increasing with the training iteration is m 1 . The data to be quantized is quantized by using the data bit width n 1 to obtain the quantized fixed-point number.
  • the data bit width used in the quantization of the t-th predictive time point is n 2 .
  • M (t) one of the following two optimization methods can be selected.
  • the first method If the data bit width increases by
  • M (t) which is the point corresponding to the t-th predictive time point.
  • the data bit width n and the point position parameter s have a great influence on the quantization accuracy, and the second scaling factor f 2 and the offset O in the quantization parameter have little effect on the quantization accuracy.
  • the first scaling factor f 1 as mentioned above, if it belongs to the second case, consider 2 s ⁇ f 2 as a whole as the first scaling factor f 1 , because the point position parameter s has a great influence on the quantization accuracy. If large, the first scaling factor f 1 in this case has a great influence on quantization.
  • Step 801) Determine the change trend value of the position parameter of the corresponding point of the data to be quantified involved in the weight iteration process at the predictive time point; wherein the predictive time point is used to determine whether the quantization parameter needs to be The adjusted time point, the predicted time point corresponds to the time point when the weight update iteration is completed.
  • Step 802 Determine the corresponding target iteration interval according to the change trend value of the point position parameter.
  • the quantization parameter is preferably a point position parameter.
  • the above-mentioned target iteration interval for determining the data bit width and the target iteration interval for the quantization parameter are only examples, not exhaustive. Those skilled in the art understand the essence of the technical solution of the present disclosure. Next, other deformations or transformations may be generated on the basis of the technical solution of the present disclosure.
  • the target iteration interval for determining the quantization parameter within the target iteration interval for determining the data bit width is also applicable to FIGS. 6, 7 and 8A.
  • the technical solution shown However, as long as the functions and technical effects achieved are similar to those of this disclosure, they should fall within the protection scope of this disclosure.
  • the technical solution is used to determine the quantization parameter, adjust the data bit width or quantization parameter according to the quantization error, and determine the target iteration interval for adjusting the data bit width or quantization parameter, so as to achieve the appropriate time point in the neural network operation process.
  • the data bit width or quantization parameters are adjusted so that the appropriate quantization parameters are used at the appropriate iteration time point to realize the artificial intelligence processor chip to perform the neural network operation to reach the fixed-point operation speed, and to improve the peak computing power of the artificial intelligence processor chip At the same time, it satisfies the accuracy of floating-point operations required for operations.
  • the quantization parameter here may be a preset quantization parameter (ie, an offline quantization parameter), or may be a quantization parameter obtained according to the processing of the data to be quantized (ie, an online quantization parameter).
  • the target data can be quantified offline or online.
  • offline quantization can be to use quantization parameters to perform offline processing on the data to be quantized.
  • Online quantization can be the online processing of the data to be quantized using quantization parameters.
  • the neural network runs on an artificial intelligence chip, and the data to be quantified and quantified parameters can be sent to a computing device outside the artificial intelligence chip for offline quantification, or a computing device other than the artificial intelligence chip can be used to calculate the data to be quantified in advance. And quantization parameters for offline quantization.
  • the artificial intelligence chip can use the quantitative parameters to quantify the quantified data online.
  • each layer to be quantized can be quantized online and offline respectively. This disclosure does not limit whether the quantization process of each layer to be quantified is online or offline.
  • FIG. 8B shows a flowchart of a data bit width adjustment method 800B in an embodiment of the present disclosure.
  • the method can include:
  • the foregoing processor may use the initial data bit width to quantize the data to be quantized to obtain the foregoing quantized data.
  • the initial data bit width of the current inspection iteration may be a hyperparameter, and the initial data bit width of the current inspection iteration may also be determined based on the data to be quantified of the previous inspection iteration before the current inspection iteration.
  • the processor may determine the intermediate representation data according to the data to be quantified in the current inspection iteration and the quantitative data in the current inspection iteration.
  • the intermediate representation data is consistent with the aforementioned representation format of the data to be quantized.
  • the processor may dequantize the above-mentioned quantized data to obtain intermediate representation data consistent with the representation format of the data to be quantized, where dequantization refers to the inverse process of quantization.
  • the quantized data can be obtained using Equation 23, and the processor can also perform inverse quantization on the quantized data according to Equation 24 to obtain corresponding intermediate representation data, and determine the quantization error according to the data to be quantized and the intermediate representation data.
  • the processor may calculate the quantization error according to the data to be quantized and the corresponding intermediate representation data.
  • the processor may determine an error term according to the to-be-quantized data F x and its corresponding intermediate representation data F x1 , and determine the quantization error according to the error term.
  • the processor may determine the above-mentioned error term according to the sum of the elements in the intermediate representation data F x1 and the sum of the elements in the to-be-quantized data F x .
  • the error term may be the sum of the elements in the intermediate representation data F x1 .
  • the difference between the sum of the elements in the data F x to be quantized the processor can determine the quantization error according to the error term.
  • the specific quantization error can be determined according to the following formula:
  • z i is an element in the data to be quantized
  • z i (n) is an element in the middle representing data F x1 .
  • the processor may calculate data of the elements to be quantized with the intermediate data F x1 represents the difference in the respective elements, a difference value of m, and m, and the error term as the difference values. After that, the processor can determine the quantization error according to the error term.
  • the specific quantization error can be determined according to the following formula:
  • z i is an element in the data to be quantized
  • z i (n) is an element in the middle representing data F x1 .
  • the difference between each element in the data to be quantized and the corresponding element in the intermediate representation data F x1 may be approximately equal to 2 s-1 . Therefore, the quantization error may also be determined according to the following formula:
  • m is the number of intermediate representation data F x1 corresponding to the target data
  • s is the point position
  • z i is the element in the data to be quantified.
  • the intermediate representation data can also be consistent with the data representation format of the aforementioned quantized data, and the quantization error is determined based on the intermediate representation data and the quantized data.
  • the data to be quantified can be expressed as: F x ⁇ I x ⁇ 2 s , then the intermediate representation data can be determined
  • the intermediate representation data I x1 may have the same data representation format as the aforementioned quantized data.
  • the processor can calculate according to the intermediate representation data I x1 and the above formula (23) Determine the quantization error.
  • the specific quantization error determination method can refer to the above formula (25) to formula (27).
  • the processor may adaptively adjust the data bit width corresponding to the current inspection iteration according to the quantization error, and determine the target data bit width adjusted by the current inspection iteration.
  • the quantization error satisfies the preset condition
  • the data bit width corresponding to the current inspection iteration can be kept unchanged, that is, the target data bit width of the current inspection iteration can be equal to the initial data bit width.
  • the processor can adjust the data bit width corresponding to the data to be quantized in the current inspection iteration to obtain the target data bit width corresponding to the current inspection iteration.
  • the processor uses the target data bit width to quantize the data to be quantized in the current inspection iteration, the quantization error satisfies the aforementioned preset condition.
  • the aforementioned preset condition may be a preset threshold set by the user.
  • FIG. 8C shows a flowchart of a data bit width adjustment method 800C in another embodiment of the present disclosure.
  • the foregoing operation S115 may include:
  • the processor may determine whether the aforementioned quantization error is greater than or equal to a first preset threshold.
  • operation S1151 may be performed to increase the data bit width corresponding to the current inspection iteration to obtain the target data bit width of the current inspection iteration.
  • the quantization error is less than the first preset threshold, the data bit width of the current inspection iteration can be kept unchanged.
  • the processor may obtain the aforementioned target data bit width after one adjustment.
  • the initial data bit width of the current inspection iteration is n1
  • the obtained quantization error may be less than the first preset threshold.
  • the processor may obtain the target data bit width through multiple adjustments until the quantization error is less than the first preset threshold, and use the data bit width when the quantization error is less than the first preset threshold as the target data bit width. Specifically, if the quantization error is greater than or equal to the first preset threshold, the first intermediate data bit width is determined according to the first preset bit width step size; then the processor can check the current check according to the first intermediate data bit width The iterative data to be quantized is quantized to obtain quantized data, and a quantization error is determined according to the data to be quantized in the current inspection iteration and the quantized data of the current inspection iteration, until the quantization error is less than the first preset threshold . The processor may use the data bit width corresponding to when the quantization error is less than the first preset threshold value as the target data bit width.
  • the initial data bit width of the current inspection iteration is n1
  • the processor can use the initial data bit width n1 to quantize the data to be quantized A of the current inspection iteration to obtain the quantized data B1, and according to the data to be quantized A and the quantized data B1 is calculated to obtain the quantization error C1.
  • the aforementioned first preset bit width step length may be a constant value. For example, whenever the quantization error is greater than the first preset threshold, the processor may increase the data bit width corresponding to the current inspection iteration by the same value. Bit width value.
  • the aforementioned first preset bit width step size may also be a variable value. For example, the processor may calculate the difference between the quantization error and the first preset threshold, if the quantization error is greater than the first preset threshold The smaller the difference, the smaller the value of the first preset bit width step.
  • FIG. 8D shows a flowchart of a data bit width adjustment method 800D in another embodiment of the present disclosure.
  • the foregoing operation S115 may further include:
  • the processor may determine whether the aforementioned quantization error is less than or equal to a second preset threshold.
  • operation S1153 may be performed to reduce the data bit width corresponding to the current inspection iteration to obtain the target data bit width of the current inspection iteration.
  • the quantization error is greater than the second preset threshold, the data bit width of the current inspection iteration can be kept unchanged.
  • the processor may obtain the aforementioned target data bit width after one adjustment.
  • the initial data bit width of the current inspection iteration is n1
  • the target data bit width n2 is used to quantize the data to be quantized in the current inspection iteration, the obtained quantization error may be greater than the second preset threshold.
  • the processor may obtain the target data bit width through multiple adjustments until the quantization error is greater than the second preset threshold, and use the data bit width when the quantization error is greater than the second preset threshold as the target data bit width. Specifically, if the quantization error is less than or equal to the first preset threshold, the second intermediate data bit width is determined according to the second preset bit width step; then the processor can check the current check according to the second intermediate data bit width.
  • the iterative data to be quantized is quantized to obtain quantized data, and a quantization error is determined according to the data to be quantized in the current inspection iteration and the quantized data of the current inspection iteration, until the quantization error is greater than the second preset threshold .
  • the processor may use the data bit width corresponding to when the quantization error is greater than the second preset threshold value as the target data bit width.
  • the initial data bit width of the current inspection iteration is n1
  • the processor can use the initial data bit width n1 to quantize the data to be quantized A of the current inspection iteration to obtain the quantized data B1, and according to the data to be quantized A and the quantized data B1 is calculated to obtain the quantization error C1.
  • the aforementioned second preset bit width step length may be a constant value. For example, whenever the quantization error is less than the second preset threshold, the processor may reduce the data bit width corresponding to the current inspection iteration by the same value. Bit width value.
  • the aforementioned second preset bit width step size may also be a variable value. For example, the processor may calculate the difference between the quantization error and the second preset threshold, if the quantization error is greater than the second preset threshold The smaller the difference, the smaller the value of the second preset bit width step.
  • FIG. 8E shows a flowchart of a data bit width adjustment method 800E in still another embodiment of the present disclosure.
  • the processor determines that the quantization error is less than the first preset threshold and the quantization error is greater than the second preset threshold
  • the data bit width of the current inspection iteration can be kept unchanged, where the first preset threshold is greater than The second preset threshold. That is, the target data bit width of the current inspection iteration can be equal to the initial data bit width.
  • FIG. 8E only uses an example to illustrate the data bit width determination method of an embodiment of the present disclosure.
  • the sequence of each operation in FIG. 8E can be adjusted adaptively, which is not specifically limited here.
  • FIG. 8F shows a flowchart of a neural network quantization method 800F according to an embodiment of the present disclosure.
  • the neural network quantification method includes:
  • Step S10 Determine a quantization parameter corresponding to each type of data to be quantized in the layer to be quantized, where the data to be quantized includes at least one of neuron, weight, bias, and gradient.
  • Step S20 quantize the data to be quantized according to the corresponding quantization parameters to obtain quantized data, so that the neural network performs operations according to the quantized data.
  • Step S30 Determine the quantization error of the target data according to the target data and the quantized data corresponding to the target data, where the target data is any kind of data to be quantized.
  • the quantization error of the target data can be determined according to the error between the quantization data corresponding to the target data and the target data. You can use the set error calculation method, such as the standard deviation calculation method, the root mean square error calculation method, etc., to calculate the quantization error of the target data.
  • the quantized data of the target data can be dequantized according to formula (28) to obtain the dequantized data of the target data
  • round is the rounding operation of rounding
  • Is the dequantized data of the target data
  • s is the point position corresponding to the target data.
  • the quantized data of the target data can be dequantized according to formula (29) to obtain the dequantized data of the target data
  • round is the rounding operation for rounding.
  • the quantized data of the target data can be dequantized according to formula (30) to obtain the dequantized data of the target data
  • round is the rounding operation for rounding.
  • the quantized data of the target data can be dequantized according to formula (31) to obtain the dequantized data of the target data
  • the quantized data of the target data can be inversely quantized according to formula (32) to obtain the inverse quantized data of the target data
  • the quantized data of the target data can be dequantized according to formula (33) to obtain the dequantized data of the target data
  • the quantized data of the target data can be dequantized according to formula (34) to obtain the dequantized data of the target data
  • the method related to the quantization interval can be calculated, for example, the error diff bit between the target data and the inverse quantization data corresponding to the target data can be calculated by formula (35):
  • p is the number of elements in the target data
  • s is the point position of the target data.
  • the value of A can be determined according to the quantization parameter.
  • A 2 s
  • the quantization parameter includes the point position s and the scaling factor f
  • A 2 s ⁇ f.
  • Step S40 Adjust the data bit width corresponding to the target data according to the quantization error and the error threshold to obtain the adjusted bit width corresponding to the target data.
  • the error threshold can be determined based on empirical values, and the error threshold can be used to indicate the expected value of the quantization error.
  • the data bit width corresponding to the target number can be adjusted to obtain the adjustment bit width corresponding to the target data.
  • the data bit width can be adjusted to a longer bit width or a shorter bit width to increase or decrease the quantization accuracy.
  • the error threshold can be determined according to the maximum acceptable error. When the quantization error is greater than the error threshold, it means that the quantization accuracy cannot meet expectations, and the data bit width needs to be adjusted to a longer bit width. A smaller error threshold can also be determined according to the higher quantization accuracy. When the quantization error is less than the error threshold, it means that the quantization accuracy is higher and the operating efficiency of the neural network will be affected. The data bit width can be appropriately adjusted to be shorter The bit width of, in order to appropriately reduce the quantization accuracy and improve the operating efficiency of the neural network.
  • the data bit width can be adjusted according to a fixed bit length, or the data bit width can be adjusted according to a variable adjustment step according to the difference between the quantization error and the error threshold. This disclosure does not limit this.
  • Step S50 the data bit width corresponding to the target data is updated to the adjustment bit width, and the corresponding adjustment quantization parameter is calculated according to the target data and the adjustment bit width, so that the neural network can be adjusted according to the adjustment
  • the quantization parameter is quantized.
  • the data bit width corresponding to the target data can be updated to the adjustment bit width. For example, if the data bit width of the target data before the update is 8 bits, and the adjusted bit width is 12 bits, the data bit width corresponding to the target data after the update is 12 bits.
  • the adjusted quantization parameter corresponding to the target data can be calculated according to the adjustment bit width and the target data.
  • the target data can be re-quantized according to the adjusted quantization parameters corresponding to the target data to obtain quantized data with higher or lower quantization accuracy, so that the layer to be quantized achieves a balance between quantization accuracy and processing efficiency.
  • the data to be quantified between the layers can be considered to have a certain correlation.
  • the adjusted quantization parameter of the layer to be quantized may be used as the adjusted quantization parameter of one or more subsequent layers for quantizing the data to be quantized in one or more subsequent layers of the to-be-quantized layer.
  • the adjusted quantization parameters obtained in the current iteration of the layer to be quantized can also be used to quantize the layer to be quantized in subsequent iterations.
  • the method further includes:
  • the quantization parameter of the layer to be quantized is used in one or more layers after the layer to be quantized.
  • the neural network performs quantization according to the adjusted quantization parameter, which may include re-quantizing the to-be-quantized data using the adjusted quantization parameter only in the to-be-quantized layer, and use the re-obtained quantized data in the calculation of the to-be-quantized layer. It can also include not using the adjusted quantization parameter to re-quantize the data to be quantized in the layer to be quantized, but using the adjusted quantization parameter for quantization in one or more subsequent layers of the layer to be quantized, and/or use it in the layer to be quantized in subsequent iterations Adjust the quantization parameter for quantization.
  • the adjusted quantization parameter may include re-quantizing the to-be-quantized data using the adjusted quantization parameter only in the to-be-quantized layer, and use the re-obtained quantized data in the calculation of the to-be-quantized layer. It can also include not using the adjusted quantization parameter to re-quantize the data to be quantized in the layer to be quantized, but using the adjusted quant
  • It may also include using the adjusted quantization parameter to re-quantize in the layer to be quantized, and use the retrieved quantized data in the operation of the layer to be quantized, and use the adjusted quantization parameter for quantization in one or more layers subsequent to the layer to be quantized, and /Or use the adjusted quantization parameter for quantization in the layer to be quantized in subsequent iterations.
  • This disclosure does not limit this.
  • the quantization error of the target data is determined according to the quantization data corresponding to the target data and the target data, and the target data is any kind of data to be quantized; the quantization error and the error threshold are adjusted to the data bit width corresponding to the target data , Obtain the adjustment bit width corresponding to the target data; update the data bit width corresponding to the target data to the adjustment bit width, calculate the corresponding adjustment quantization parameter according to the target data and the adjustment bit width, so that the neural network performs quantization according to the adjustment quantization parameter.
  • the data bit width is adjusted according to the error between the target data and the quantized data, and the adjusted quantization parameter is calculated according to the adjusted data bit width.
  • adjusted quantization parameters can be obtained to achieve different quantization requirements such as improving quantization accuracy or improving operation efficiency.
  • the adjusted quantitative parameters calculated according to the target data and the quantitative data of the target data can also be more in line with the data characteristics of the target data itself, and achieve a quantitative result that is more in line with the needs of the target data itself, and achieve better quantification accuracy and processing efficiency. balance.
  • FIG. 8G shows a flowchart of a neural network quantization method 800G according to an embodiment of the present disclosure.
  • step S40 in the neural network quantification method includes:
  • Step S41 When the quantization error is greater than the first error threshold, increase the data bit width corresponding to the target data to obtain the adjustment bit width corresponding to the target data.
  • the first error threshold may be determined according to the maximum quantization error that can be accepted.
  • the quantization error can be compared with the first error threshold. When the quantization error is greater than the first error threshold, it can be considered that the quantization error is already unacceptable.
  • the quantization accuracy of the target data can be improved by increasing the data bit width corresponding to the target data.
  • the data bit width corresponding to the target data can be increased according to a fixed adjustment step to obtain the adjustment bit width.
  • the fixed adjustment step size can be N bits, and N is a positive integer.
  • Each adjustment of the data bit width can increase N bits.
  • the data bit width after each increase the original data bit width + N bits.
  • the data bit width corresponding to the target data can be increased according to the variable adjustment step length to obtain the adjustment bit width. For example, when the difference between the quantization error and the error threshold is greater than the first threshold, the data bit width can be adjusted according to the adjustment step M1, and when the difference between the quantization error and the error threshold is less than the first threshold, the data can be adjusted according to the The step size M2 adjusts the data bit width, where the first threshold is greater than the second threshold, and M1 is greater than M2.
  • the variable adjustment step length can be determined according to requirements. This disclosure does not limit the adjustment step length of the data bit width and whether the adjustment step length is variable.
  • the target data can be calculated according to the adjusted bit width to obtain the adjusted quantization parameter.
  • the quantized data obtained by re-quantizing the target data by using the adjusted quantization parameter has higher quantization accuracy than the quantized data obtained by using the quantized parameter before adjustment.
  • FIG. 8H shows a flowchart of a neural network quantization method 800H according to an embodiment of the present disclosure. As shown in FIG. 8H, the neural network quantification method further includes:
  • Step S42 Calculate the adjusted quantization error of the target data according to the adjustment bit width and the target data
  • Step S43 Continue to increase the adjustment bit width according to the adjusted quantization error and the first error threshold until the adjusted quantization error calculated according to the adjustment bit width and the target data is less than or equal to the first error threshold. An error threshold.
  • the bit width When increasing the data bit width corresponding to the target data according to the quantization error, adjust the bit width once to obtain the adjusted bit width, calculate the adjusted quantization parameter according to the adjusted bit width, and quantize the target data according to the adjusted quantization parameter to obtain the adjusted quantized data , And then calculate the adjusted quantization error of the target data according to the adjusted quantization data and the target data.
  • the adjusted quantization error may still be greater than the first error threshold, that is, the adjusted data bit width may not meet the adjustment purpose.
  • you can continue to adjust the adjusted data bit width that is, increase the data bit width corresponding to the target data multiple times, until the final adjusted bit width and target data are obtained
  • the adjusted quantization error of is smaller than the first error threshold.
  • the adjustment step length that is increased multiple times can be a fixed adjustment step length or a variable adjustment step length.
  • the final data bit width original data bit width+A*N bits, where N is the fixed adjustment step length for each increase, and A is the number of times the data bit width is increased.
  • the final data bit width original data bit width+M1+M2+...+Mm, where M1, M2...Mm are the variable adjustment step lengths added each time.
  • the data bit width corresponding to the target data is increased to obtain the adjustment bit width corresponding to the target data.
  • the data bit width can be increased by setting the first error threshold and adjusting the step size, so that the adjusted data bit width can meet the quantization requirement.
  • the data bit width can also be adjusted multiple times. The setting of the first error threshold and the adjustment step length enables the quantization parameters to be flexibly adjusted according to the quantization requirements to meet different quantization requirements, so that the quantization accuracy can be adaptively adjusted according to its own data characteristics.
  • FIG. 8I shows a flowchart of a neural network quantization method 800I according to an embodiment of the present disclosure.
  • step S40 in the neural network quantification method includes:
  • Step S44 When the quantization error is less than the second error threshold, the data bit width corresponding to the target data is reduced, and the second error threshold is less than the first error threshold.
  • the second error threshold can be determined according to the acceptable quantization error and the expected operating efficiency of the neural network.
  • the quantization error can be compared with a second error threshold. When the quantization error is less than the second error threshold, it can be considered that the quantization error exceeds expectations, but the operating efficiency is too low to be acceptable.
  • the quantization accuracy can be reduced to improve the operating efficiency of the neural network, and the quantization accuracy of the target data can be reduced by reducing the data bit width corresponding to the target data.
  • the data bit width corresponding to the target data can be reduced according to a fixed adjustment step to obtain the adjustment bit width.
  • the fixed adjustment step size can be N bits, and N is a positive integer.
  • Each adjustment of the data bit width can reduce N bits.
  • Increased data bit width original data bit width-N bits.
  • the data bit width corresponding to the target data can be reduced according to the variable adjustment step length to obtain the adjustment bit width. For example, when the difference between the quantization error and the error threshold is greater than the first threshold, the data bit width can be adjusted according to the adjustment step M1, and when the difference between the quantization error and the error threshold is less than the first threshold, the data can be adjusted according to the The step size M2 adjusts the data bit width, where the first threshold is greater than the second threshold, and M1 is greater than M2.
  • the variable adjustment step length can be determined according to requirements. This disclosure does not limit the adjustment step length of the data bit width and whether the adjustment step length is variable.
  • the target data can be calculated according to the adjusted bit width to obtain the adjusted quantization parameter.
  • the quantized data obtained after re-quantization of the target data using the adjusted quantization parameter has better quantization accuracy than the quantized data obtained by using the quantized parameter before adjustment. low.
  • FIG. 8J shows a flowchart of a neural network quantification method 800J according to an embodiment of the present disclosure. As shown in Fig. 8J, the neural network quantification method further includes:
  • Step S45 Calculate the adjusted quantization error of the target data according to the adjustment bit width and the target data
  • Step S46 continue to reduce the adjustment bit width according to the adjusted quantization error and the second error threshold, until the adjusted quantization error calculated according to the adjustment bit width and the target data is greater than or equal to the first 2. Error threshold.
  • the bit width When increasing the data bit width corresponding to the target data according to the quantization error, adjust the bit width once to obtain the adjusted bit width, calculate the adjusted quantization parameter according to the adjusted bit width, and quantize the target data according to the adjusted quantization parameter to obtain the adjusted quantized data , And then calculate the adjusted quantization error of the target data according to the adjusted quantization data and the target data.
  • the adjusted quantization error may still be less than the second error threshold, that is, the adjusted data bit width may not meet the adjustment purpose.
  • you can continue to adjust the adjusted data bit width that is, reduce the data bit width corresponding to the target data multiple times, until the adjusted bit width and target data are finally obtained
  • the adjusted quantization error of is greater than the second error threshold.
  • the adjustment step length reduced multiple times may be a fixed adjustment step length or a variable adjustment step length.
  • the final data bit width the original data bit width-A*N bits, where N is the fixed adjustment step length for each increase, and A is the number of times the data bit width is increased.
  • the final data bit width the original data bit width-M1-M2-...-Mm, where M1, M2...Mm are the variable adjustment step lengths that are reduced each time.
  • the data bit width corresponding to the target data is reduced to obtain the adjustment bit width corresponding to the target data.
  • the data bit width can be reduced by setting the second error threshold and adjusting the step size, so that the adjusted data bit width can meet the quantization requirement.
  • the data bit width can also be adjusted multiple times. The setting of the second error threshold and the adjustment step length enables the quantization parameters to be flexibly and adaptively adjusted according to the quantization requirements to meet different quantization requirements, so that the quantization accuracy is adjustable, and a balance is achieved between the quantization accuracy and the operating efficiency of the neural network .
  • the method further includes:
  • the data bit width corresponding to the target data is increased, and when the quantization error is less than the second error threshold, the data bit width corresponding to the target data is decreased to obtain the The adjustment bit width corresponding to the target data.
  • Two error thresholds can also be set at the same time.
  • the first error threshold is used to indicate that the quantization accuracy is too low, which can increase the number of bits of the data bit width
  • the second error threshold is used to indicate that the quantization accuracy is too high, which can reduce the data bit width. Digits.
  • the first error threshold is greater than the second error threshold, and the quantization error of the target data can be compared with the two error thresholds at the same time.
  • the quantization error is greater than the first error threshold, the number of bits of the data bit width is increased.
  • the quantization error is less than the second
  • the quantization error is between the first error threshold and the second error threshold, the data bit width can remain unchanged.
  • the data bit width can be increased or decreased according to the comparison result, and the first error threshold and the second error threshold can be used for more flexible adjustment Data bit width. This makes the adjustment result of the data bit width more in line with quantitative requirements.
  • an iterative operation generally includes a forward operation, a reverse operation and a weight update operation.
  • Forward operation refers to the process of forward inference based on the input data of the neural network to obtain the result of the forward operation.
  • Reverse operation is the process of determining the loss value according to the result of the forward operation and the preset reference value, and determining the weight gradient value and/or the gradient value of the input data according to the loss value.
  • the weight update operation refers to the process of adjusting the weight of the neural network according to the weight gradient value.
  • the training process of the neural network is as follows: the processor may use a neural network with a weight value of a random number to perform a forward operation on the input data to obtain a forward operation result. The processor then determines the loss value according to the forward operation result and the preset reference value, and determines the weight gradient value and/or the input data gradient value according to the loss value. Finally, the processor can update the gradient value of the neural network according to the weight gradient value, obtain a new weight value, and complete an iterative operation. The processor performs multiple iterations in a loop until the forward operation result of the neural network meets the preset condition. For example, when the forward operation result of the neural network converges to the preset reference value, the training ends. Or, when the loss value determined by the forward operation result of the neural network and the preset reference value is less than or equal to the preset accuracy, the training ends.
  • Fine-tuning refers to the process of performing multiple iterative operations on the neural network (the weight of the neural network is already in a convergent state rather than a random number), so that the accuracy of the neural network can meet the preset requirements.
  • This fine-tuning process is basically the same as the above-mentioned training process, and can be regarded as a process of retraining the neural network in a convergent state.
  • Inference refers to the process of using a neural network whose weights meet preset conditions to perform forward operations to realize functions such as recognition or classification, such as the use of neural networks for image recognition and so on.
  • different quantization parameters can be used at different stages of the neural network operation to quantify the operation data of the neural network, and iterative operation is performed according to the quantized data, thereby It can reduce the data storage space in the process of neural network operation, and improve the efficiency of data access and operation.
  • FIG. 8K a flowchart of a method 800K for adjusting a quantization parameter according to an embodiment of the present disclosure is shown.
  • the above method may include:
  • the processor may directly read the data variation range of the data to be quantized, and the data variation range of the data to be quantized may be input by the user.
  • the processor may also calculate the data change range of the data to be quantified according to the data to be quantized in the current iteration and the data to be quantized in the historical iteration, where the current iteration refers to the iterative operation currently performed, and the historical iteration refers to The iteration operation performed before the current iteration.
  • the processor can obtain the maximum value of the elements in the data to be quantized and the average value of the elements in the current iteration, and the maximum value of the elements in the data to be quantized and the average value of the elements in each historical iteration, and according to the value of the elements in each iteration The maximum value and the average value of the elements determine the variation range of the data to be quantified.
  • the average value of the elements in the data to be quantized in the current iteration is the preset number of historical iterations.
  • the data change range of the data to be quantized is small. Otherwise, it can be determined that the data change range of the data to be quantized is relatively large.
  • the data variation range of the data to be quantified can be represented by the moving average or variance of the data to be quantified, which is not specifically limited here.
  • the data variation range of the data to be quantized can be used to determine whether the quantization parameter of the data to be quantized needs to be adjusted. For example, if the data to be quantized varies greatly, it can be explained that the quantization parameters need to be adjusted in time to ensure the quantization accuracy. If the data change range of the data to be quantified is small, the quantization parameters of historical iterations can be used for the current inspection iteration and a certain number of iterations thereafter, which can avoid frequent adjustment of quantization parameters and improve quantification efficiency.
  • each iteration involves at least one data to be quantized
  • the data to be quantized may be arithmetic data represented by a floating point or a fixed point.
  • the data to be quantified in each iteration may be at least one of neuron data, weight data, or gradient data
  • the gradient data may also include neuron gradient data, weight gradient data, and the like.
  • the quantization parameter is used to implement the quantization operation on the data to be quantized in the neural network operation.
  • the quantization parameter may include data width. Therefore, the target iteration interval may be determined according to the data variation range of the data to be quantified, so as to adjust the data width in the neural network operation according to the target iteration interval, and the target iteration interval includes at least one iteration.
  • the quantization parameter may include the above-mentioned point position and/or zoom factor, where the zoom factor may include a first zoom factor and a second zoom factor.
  • the specific point position calculation method and the calculation method of the zoom factor can be referred to the formula described above, which will not be repeated here.
  • the quantization parameter may also include an offset, and the calculation method of the offset may refer to the formula described above; furthermore, the processor may also determine the position of the point according to the other formula described above. Determine the zoom factor.
  • the processor may update at least one of the above-mentioned point position, scaling factor or offset according to the determined target iteration interval to adjust the quantization parameter in the neural network operation.
  • the quantization parameter in the neural network operation can be updated according to the data variation range of the data to be quantized in the neural network operation, so that the quantization accuracy can be guaranteed.
  • the data change curve of the data to be quantified can be obtained by performing statistics and analysis on the change trend of the calculation data during the neural network training or fine-tuning process.
  • Figure 8L according to the data change curve 800L, it can be known that in the initial stage of neural network training or fine-tuning, the data of different iterations to be quantized changes drastically. As the training or fine-tuning operation progresses, different iterations of the data to be quantified The data changes gradually tend to be flat. Therefore, in the initial stage of neural network training or fine-tuning, the quantization parameters can be adjusted more frequently; in the middle and later stages of neural network training or fine-tuning, the quantization parameters can be adjusted at intervals of multiple iterations or training cycles.
  • the method of the present disclosure is to achieve a balance between quantization accuracy and quantification efficiency by determining a suitable iteration interval.
  • the processor may determine the target iteration interval according to the data variation range of the data to be quantified, so as to adjust the quantization parameter in the neural network operation according to the target iteration interval.
  • the target iteration interval may increase as the data variation range of the data to be quantized decreases. That is to say, when the data change range of the data to be quantized is larger, the target iteration interval is smaller, indicating that the quantization parameter is adjusted more frequently. The smaller the data change range of the data to be quantified, the larger the target iteration interval, which indicates that the adjustment of the quantization parameter is less frequent.
  • the above-mentioned target iteration interval may also be a hyperparameter, for example, the target iteration interval may be set by a user.
  • the aforementioned weight data, neuron data, gradient data, and other data to be quantified may have different iteration intervals.
  • the processor may respectively obtain the data variation amplitudes corresponding to various data to be quantized, so as to determine the target iteration interval corresponding to the corresponding data to be quantized according to the data variation amplitudes of each type of data to be quantized.
  • the quantization process of various data to be quantized can be performed asynchronously.
  • different data variation ranges of the data to be quantified can be used to determine the corresponding target iteration interval, and determine the corresponding target iteration interval according to the corresponding target iteration interval.
  • the quantization parameter can thereby ensure the quantization accuracy of the data to be quantized, and thereby ensure the correctness of the calculation result of the neural network.
  • the same target iteration interval may be determined for different types of data to be quantized, so as to adjust the quantization parameter corresponding to the corresponding data to be quantized according to the target iteration interval.
  • the processor may obtain the data variation range of various data to be quantized, and determine the target iteration interval according to the maximum data variation range of the data to be quantized, and determine the quantization parameters of various data to be quantized according to the target iteration interval.
  • different types of data to be quantized can also use the same quantization parameter.
  • the aforementioned neural network may include at least one operation layer, and the data to be quantified may be at least one of neuron data, weight data, or gradient data involved in each operation layer.
  • the processor can obtain the data to be quantized related to the current arithmetic layer, and determine the data variation range of various data to be quantized in the current arithmetic layer and the corresponding target iteration interval according to the above method.
  • the processor may determine the aforementioned data variation range of the data to be quantized once in each iteration operation process, and determine a target iteration interval according to the data variation range of the corresponding data to be quantized.
  • the processor can calculate the target iteration interval once in each iteration.
  • the specific calculation method of the target iteration interval can be found in the following description.
  • the processor can select the inspection iteration from each iteration according to the preset conditions, determine the variation range of the data to be quantified at each inspection iteration, and update and adjust the quantization parameters etc. according to the target iteration interval corresponding to the inspection iteration . At this time, if the iteration is not the selected inspection iteration, the processor may ignore the target iteration interval corresponding to the iteration.
  • each target iteration interval may correspond to a verification iteration
  • the verification iteration may be the initial iteration of the target iteration interval or the end iteration of the target iteration interval.
  • the processor can adjust the quantization parameter of the neural network at the inspection iteration of each target iteration interval, so as to adjust the quantization parameter of the neural network operation according to the target iteration interval.
  • the verification iteration may be a point in time for verifying whether the current quantization parameter meets the requirements of the data to be quantified.
  • the quantization parameter before adjustment may be the same as the quantization parameter after adjustment, or may be different from the quantization parameter after adjustment.
  • the interval between adjacent inspection iterations may be greater than or equal to a target iteration interval.
  • the target iteration interval may calculate the number of iterations from the current inspection iteration, and the current inspection iteration may be the starting iteration of the target iteration interval. For example, if the current inspection iteration is the 100th iteration, the processor determines that the target iteration interval is 3 according to the data change range of the data to be quantified, and the processor can determine that the target iteration interval includes 3 iterations, each being the 100th iteration. Second iteration, 101st iteration and 102nd iteration. The processor can adjust the quantization parameter in the neural network operation at the 100th iteration. Among them, the current inspection iteration is the corresponding iterative operation when the processor currently performs the update and adjustment of the quantization parameter.
  • the target iteration interval may also be the number of iterations calculated from the next iteration of the current inspection iteration, and the current inspection iteration may be the termination iteration of the previous iteration interval before the current inspection iteration.
  • the processor determines that the target iteration interval is 3 based on the data change range of the data to be quantified, and the processor can determine that the target iteration interval includes 3 iterations, which are 101st. Iterations, 102 iterations, and 103 iterations.
  • the processor can adjust the quantization parameter in the neural network operation at the 100th iteration and the 103rd iteration. This disclosure does not specifically limit the method for determining the target iteration interval.
  • the data variation range of the data to be quantized may also be It is determined indirectly by the change range of the quantization parameter, and the data change range of the data to be quantized can be characterized by the change range of the quantization parameter.
  • FIG. 8M a flowchart of a method 800M for determining a target iteration interval in a parameter adjustment method according to an embodiment of the present disclosure is shown.
  • the foregoing operation S100 may include:
  • the variation range of the point position can indirectly reflect the variation range of the data to be quantified.
  • the variation range of the point position may be determined according to the point position of the current inspection iteration and the point position of at least one historical iteration. Among them, the point position of the current test iteration and the point position of each historical iteration can be determined by the formula described above.
  • the processor may also calculate the variance of the point position of the current test iteration and the point position of the historical iteration, and determine the variation range of the point position according to the variance.
  • the processor may determine the variation range of the point position according to the average value of the point position of the current inspection iteration and the point position of the historical iteration.
  • FIG. 8N shows a flowchart of a method 800N for determining the variation range of a point position in an embodiment of the present disclosure.
  • the foregoing operation S110 may include:
  • S111 Determine a first average value according to the point position corresponding to the previous inspection iteration before the current inspection iteration and the point position corresponding to the historical iteration before the previous inspection iteration.
  • the previous inspection iteration is the iteration corresponding to the last time the quantization parameter is adjusted, and there is at least one iteration interval between the previous inspection iteration and the current inspection iteration.
  • At least one historical iteration may belong to at least one iteration interval, each iteration interval may correspond to one inspection iteration, and two adjacent inspection iterations may have one iteration interval.
  • the previous inspection iteration in the foregoing operation S111 may be the inspection iteration corresponding to the previous iteration interval before the target iteration interval.
  • the first average value can be calculated according to the following formula:
  • a1 ⁇ am refer to the calculated weights corresponding to the point positions of each iteration
  • s t-1 refers to the point positions corresponding to the previous test iteration
  • s t-2 refers to the previous test
  • st-3 refers to the previous test
  • M1 refers to the above-mentioned first mean value.
  • the last test iteration is the 100th iteration of the neural network operation
  • the historical iteration can range from the 1st iteration to the 99th iteration
  • the processor can obtain the point position of the 100th iteration (ie st-1 )
  • s 1 can refer to the point position corresponding to the first iteration of the neural network
  • st-3 can refer to the 98th iteration of the neural network
  • st-2 can refer to the point position corresponding to the 99th iteration of the neural network.
  • the processor may calculate the first average value according to the above formula.
  • the first average value can be calculated according to the point position of the inspection iteration corresponding to each iteration interval.
  • the first average value can be calculated according to the following formula:
  • M1 a1 ⁇ s t-1 +a2 ⁇ s t-2 +a3 ⁇ s t-3 +...+am ⁇ s 1 ;
  • a1 ⁇ am refer to the calculated weights corresponding to the point positions of each inspection iteration
  • s t-1 refers to the point positions corresponding to the previous inspection iteration
  • s t-2 refers to the point positions corresponding to the previous inspection iteration
  • s t-3 refers to the previous The point positions corresponding to the inspection iterations of the preset number of iteration intervals before the inspection iteration
  • M1 refers to the above-mentioned first mean value.
  • the last test iteration is the 100th iteration of the neural network operation
  • the historical iteration can be from the 1st iteration to the 99th iteration
  • the 99 historical iterations can be divided into 11 iteration intervals.
  • the 1st iteration to the 9th iteration belong to the 1st iteration interval
  • the 10th iteration to the 18th iteration belong to the 2nd iteration interval
  • the 90th iteration to the 99th iteration belong to the 11th iteration Iteration interval.
  • the processor can obtain the point position of the 100th iteration (ie st-1 ), and obtain the point position of the test iteration in the iteration interval before the 100th iteration, that is, s 1 can refer to the first point of the neural network
  • the point position corresponding to the inspection iteration of the iteration interval (for example, s 1 can refer to the point position corresponding to the first iteration of the neural network)
  • st-3 can refer to the inspection iteration corresponding to the 10th iteration of the neural network
  • Point position for example, st-3 can refer to the point position corresponding to the 81st iteration of the neural network
  • st-2 can refer to the point position corresponding to the inspection iteration of the 11th iteration interval of the neural network (for example, s t- 2 can refer to the point position corresponding to the 90th iteration of the neural network).
  • the processor may calculate the first average value M1 according to the above formula.
  • the iteration interval includes the same number of iterations.
  • the number of iterations contained in the iteration interval may be different.
  • the number of iterations included in the iteration interval increases as the iteration increases, that is, as the neural network training or fine-tuning progresses, the iteration interval may become larger and larger.
  • the above-mentioned first average value M1 can be calculated using the following formula:
  • ⁇ refers to the calculated weight of the point position corresponding to the previous inspection iteration
  • s t-1 refers to the point position corresponding to the previous inspection iteration
  • M0 refers to the moving average corresponding to the inspection iteration before the previous inspection iteration
  • S112 Determine a second average value according to the point position corresponding to the current inspection iteration and the point position of the historical iteration before the current inspection iteration.
  • the point position corresponding to the current inspection iteration can be determined according to the target data bit width of the current inspection iteration and the data to be quantified.
  • the second mean value M2 can be calculated according to the following formula:
  • b1 ⁇ bm means calculates a weight center position of each iteration corresponding to the heavy
  • s t is the current test iteration corresponding point position
  • s 1 refers to a history prior to the current test iteration
  • M2 refers to the second mean value mentioned above.
  • the current inspection iteration is the 101st iteration of the neural network operation
  • the historical iteration before the current inspection iteration refers to the 1st iteration to the 100th iteration.
  • the processor can obtain the point position of the 101st iteration (ie s t ), and obtain the point position of the historical iteration before the 101st iteration, that is, s 1 can refer to the point position corresponding to the first iteration of the neural network ...
  • st-2 can refer to the point position corresponding to the 99th iteration of the neural network
  • st-1 can refer to the point position corresponding to the 100th iteration of the neural network.
  • the processor may calculate the second average value M2 according to the above formula.
  • the second average value may be calculated according to the point position of the inspection iteration corresponding to each iteration interval.
  • FIG. 80 a flowchart of a method 800O for determining the second mean value in an embodiment of the present disclosure is shown.
  • the foregoing operation S112 may include the following operations:
  • the second average value can be calculated according to the following formula:
  • b1 ⁇ bm means calculates a weight center position of each iteration corresponding to the heavy
  • s t is the current test iteration corresponding point position
  • s 1 refers to the test prior to the current test iteration
  • M2 refers to the second mean value mentioned above.
  • the current inspection iteration is the 100th iteration
  • the historical iteration may be from the 1st iteration to the 99th iteration
  • the 99 historical iterations may belong to 11 iteration intervals.
  • the 1st iteration to the 9th iteration belong to the 1st iteration interval
  • the 10th iteration to the 18th iteration belong to the 2nd iteration interval
  • the 90th iteration to the 99th iteration belong to the 11th iteration Iteration interval.
  • the processor can obtain the point position of the 100th iteration (ie s t ), and obtain the point position of the test iteration in the iteration interval before the 100th iteration, that is, s 1 can refer to the first iteration interval of the neural network
  • the point position corresponding to the test iteration of (for example, s 1 can refer to the point position corresponding to the first iteration of the neural network)
  • st-2 can refer to the point position corresponding to the test iteration of the 10th iteration interval of the neural network (For example, st-2 can refer to the point position corresponding to the 81st iteration of the neural network)
  • st-1 can refer to the point position corresponding to the inspection iteration of the 11th iteration interval of the neural network (for example, s t-1 can Refers to the point position corresponding to the 90th iteration of the neural network).
  • the processor may calculate the second average value M2 according to the above formula.
  • the iteration interval includes the same number of iterations.
  • the number of iterations contained in the iteration interval may be different.
  • the number of iterations included in the iteration interval increases as the iteration increases, that is, as the neural network training or fine-tuning progresses, the iteration interval may become larger and larger.
  • the processor may determine the second average value according to the point position corresponding to the current inspection iteration and the first average value, that is, the second average value may be as follows The formula is calculated:
  • ⁇ refers to the calculated weight of the point position corresponding to the current inspection iteration
  • M1 refers to the above-mentioned first mean value
  • the first error may be equal to the absolute value of the difference between the second average value and the aforementioned first average value.
  • the above-mentioned first error can be calculated according to the following formula:
  • the above-mentioned point position of the current inspection iteration may be determined according to the data to be quantified in the current inspection iteration and the target data bit width corresponding to the current inspection iteration.
  • the specific point position calculation method may refer to the above formula.
  • the target data bit width corresponding to the current inspection iteration described above may be a hyperparameter.
  • the target data bit width corresponding to the current inspection iteration may be user-defined input.
  • the data bit width corresponding to the data to be quantized in the process of neural network training or fine-tuning may be constant, that is, the same type of data to be quantized in the same neural network is quantized with the same data bit width, for example, for the neural network
  • the neuron data in each iteration of the network is quantized with 8-bit data width.
  • the data bit width corresponding to the data to be quantized in the neural network training or fine-tuning process is variable to ensure that the data bit width can meet the quantization requirements of the data to be quantized. That is, the processor can adaptively adjust the data bit width corresponding to the data to be quantized according to the data to be quantized, and obtain the target data bit width corresponding to the data to be quantized. Specifically, the processor may first determine the target data bit width corresponding to the current inspection iteration, and then the processor may determine the current inspection iteration corresponding to the target data bit width corresponding to the current inspection iteration and the data to be quantified corresponding to the current inspection iteration Point location.
  • the position of the point will change accordingly.
  • the change of the point position at this time is not caused by the data change of the data to be quantified.
  • the target iteration interval obtained by the first error calculation determined according to the above formula (42) may be inaccurate, which will affect the accuracy of quantization. Therefore, when the data bit width of the current inspection iteration changes, the above-mentioned second average value can be adjusted accordingly to ensure that the first error can accurately reflect the variation range of the point position, thereby ensuring the accuracy and reliability of the target iteration interval .
  • FIG. 8P a flowchart of a method 800P for determining the second average value in another embodiment of the present disclosure is shown.
  • the above method may also include:
  • the processor may reduce the second average value accordingly. If the data bit width adjustment value is less than the preset parameter (for example, the preset parameter may be equal to zero), that is, when the data bit width of the current inspection iteration decreases, the processor may increase the second average value accordingly. If the data bit width adjustment value is equal to the preset parameter, that is, when the data bit width adjustment value is equal to 0, the data to be quantized corresponding to the current iteration has not changed at this time, and the updated second average value is equal to the second average value before the update.
  • the preset parameter for example, the preset parameter may be equal to zero
  • the second average value before the update is calculated according to the above formula (41).
  • the processor may not update the second average value, that is, the processor may not perform the above operation S117.
  • the updated second average value M2 ⁇ (s t - ⁇ n)+(1- ⁇ ) ⁇ (M1- ⁇ n).
  • the updated second mean value M2 ⁇ (s t - ⁇ n)+ (1- ⁇ ) ⁇ (M1+ ⁇ n), where st refers to the point position determined by the current inspection iteration according to the target data bit width.
  • the updated second average value M2 ⁇ st +(1- ⁇ ) ⁇ M1- ⁇ n.
  • the updated second mean value M2 ⁇ st +( 1- ⁇ ) ⁇ M1+ ⁇ n, where st refers to the point position determined according to the target data bit width in the current inspection iteration.
  • the foregoing operation S200 may include:
  • the target iteration interval is determined according to the fluctuation range of the point position, wherein the target iteration interval is negatively correlated with the above-mentioned fluctuation range of the point position. That is, the greater the variation range of the aforementioned point position, the smaller the target iteration interval. The smaller the fluctuation range of the aforementioned point position, the larger the target iteration interval.
  • the above-mentioned first error may characterize the range of variation of the point position, and the above-mentioned operation may include:
  • the processor may determine the target iteration interval according to the first error, wherein the target iteration interval is negatively correlated with the first error. That is, the larger the first error, the larger the change range of the point position, which in turn indicates the larger the data change range of the data to be quantized. At this time, the target iteration interval is smaller.
  • the processor may calculate the target iteration interval I according to the following formula:
  • I is the target iteration interval
  • diff update1 represents the above-mentioned first error
  • ⁇ and ⁇ can be hyperparameters.
  • the first error can be used to measure the variation range of the point position.
  • the larger the first error the greater the variation range of the point position, which in turn indicates that the data to be quantified has a larger variation range and the target iteration interval needs to be set.
  • the smaller That is, the larger the first error, the more frequent the adjustment of the quantization parameter.
  • the variation range (first error) of the point position is calculated, and the target iteration interval is determined according to the variation range of the point position. Since the quantization parameter is determined according to the target iteration interval, the quantized data obtained by quantization according to the quantization parameter can be more in line with the changing trend of the point position of the target data, and the operating efficiency of the neural network is improved while ensuring the quantization accuracy.
  • the processor may further determine the quantization parameter and data bit width corresponding to the target iteration interval at the current inspection iteration, so as to update the quantization parameter according to the target iteration interval.
  • the quantization parameter may include a point position and/or a scaling factor.
  • the quantization parameter may also include an offset.
  • FIG. 8Q it shows a flowchart of a quantization parameter adjustment method 800Q according to another embodiment of the present disclosure. The above method may further include:
  • the processor adjusts the quantization parameter in the neural network operation according to the target iteration interval.
  • the processor may determine the inspection iteration according to the target iteration interval, and update the target iteration interval at each inspection iteration, and may also update the quantitative parameter at each inspection iteration.
  • the data bit width in the neural network operation remains unchanged.
  • the processor can directly adjust the quantization parameters such as the point position according to the data to be quantified at each inspection iteration.
  • the data bit width in the neural network operation is variable.
  • the processor can update the data bit width at each inspection iteration, and adjust the point position according to the updated data bit width and the data to be quantified in the inspection iteration And other quantization parameters.
  • the processor updates the quantization parameter at each inspection iteration to ensure that the current quantization parameter meets the quantization requirements of the data to be quantified.
  • the target iteration interval before the update and the target iteration interval after the update may be the same or different.
  • the data bit width before the update and the data bit width after the update can be the same or different; that is, the data bit width of different iteration intervals can be the same or different.
  • the quantization parameter before the update and the quantization parameter after the update may be the same or different; that is, the quantization parameters at different iteration intervals may be the same or different.
  • the processor may determine the quantization parameter in the target iteration interval at the verification iteration to adjust the quantization parameter in the neural network operation.
  • the processor can determine Quantitative parameters such as point positions in the target iteration interval can achieve the purpose of adjusting the quantization parameters in the neural network operation according to the target iteration interval.
  • the quantization parameters corresponding to the iterations in the target iteration interval may be consistent. That is to say, each iteration in the target iteration interval uses the same point position, and only the quantitative parameters such as the determined point position are updated at each inspection iteration. This can avoid updating and adjusting the quantization parameters in each iteration, thereby reducing The amount of calculation in the quantization process improves the efficiency of the quantization operation.
  • the processor may determine the point position corresponding to the current inspection iteration according to the data to be quantified in the current inspection iteration and the target data bit width corresponding to the current inspection iteration, and use the point position corresponding to the current inspection iteration as the target iteration interval For the corresponding point position, the point position corresponding to the current inspection iteration is used for the iterations in the target iteration interval.
  • the target data bit width corresponding to the current inspection iteration may be a hyperparameter.
  • the target data bit width corresponding to the current inspection iteration is customized by the user.
  • the point position corresponding to the current inspection iteration can be calculated by referring to the above formula.
  • the data bit width corresponding to each iteration of the neural network operation may change, that is, the data bit width corresponding to different target iteration intervals may be inconsistent, but the data bit width of each iteration in the target iteration interval remains constant.
  • the data bit width corresponding to the iteration in the target iteration interval may be a hyperparameter, for example, the data bit width corresponding to the iteration in the target iteration interval may be user-defined input.
  • the data bit width corresponding to the iteration in the target iteration interval may also be calculated by the processor. For example, the processor may determine the target data bit width corresponding to the current inspection iteration according to the data to be quantified in the current inspection iteration. , And use the target data bit width corresponding to the current inspection iteration as the data bit width corresponding to the target iteration interval.
  • the quantization parameters such as the corresponding point positions in the target iteration interval can also be kept unchanged. That is to say, each iteration in the target iteration interval uses the same point position, and only the quantitative parameters such as the determined point position and the data bit width are updated at each inspection iteration, so as to avoid updating and adjusting the quantization parameters in each iteration. , Thereby reducing the amount of calculation in the quantization process and improving the efficiency of the quantization operation.
  • the processor may determine the point position corresponding to the current inspection iteration according to the data to be quantified in the current inspection iteration and the target data bit width corresponding to the current inspection iteration, and use the point position corresponding to the current inspection iteration as the target iteration interval For the corresponding point position, the point position corresponding to the current inspection iteration is used for the iterations in the target iteration interval.
  • the target data bit width corresponding to the current inspection iteration may be a hyperparameter.
  • the target data bit width corresponding to the current inspection iteration is customized by the user.
  • the point position corresponding to the current inspection iteration can be calculated by referring to the above formula.
  • the scaling factors corresponding to iterations in the target iteration interval may be consistent.
  • the processor may determine the scaling factor corresponding to the current test iteration according to the to-be-quantized data of the current test iteration, and use the scaling factor corresponding to the current test iteration as the scaling factor of each iteration in the target iteration interval. Wherein, the scaling factors corresponding to the iterations in the target iteration interval are consistent.
  • the offsets corresponding to the iterations in the target iteration interval are consistent.
  • the processor may determine the offset corresponding to the current inspection iteration according to the to-be-quantized data of the current inspection iteration, and use the offset corresponding to the current inspection iteration as the offset of each iteration in the target iteration interval. Further, the processor may also determine the minimum value and the maximum value among all the elements of the data to be quantized, and further determine quantization parameters such as point positions and scaling factors. For details, please refer to the above description.
  • the offset corresponding to the iteration in the target iteration interval is consistent.
  • the target iteration interval may be calculated from the current inspection iteration, that is, the inspection iteration corresponding to the target iteration interval may be the initial iteration of the target iteration interval. For example, if the current inspection iteration is the 100th iteration, the processor determines that the target iteration interval is 3 according to the data change range of the data to be quantified, and the processor can determine that the target iteration interval includes 3 iterations, each being the 100th iteration. Second iteration, 101st iteration and 102nd iteration.
  • the processor can determine the quantization parameters such as the point position corresponding to the 100th iteration according to the data to be quantized and the target data bit width corresponding to the 100th iteration, and can use the quantization parameter pair such as the point position corresponding to the 100th iteration
  • the 100th iteration, the 101st iteration and the 102th iteration are quantified.
  • the processor does not need to calculate quantization parameters such as point positions in the 101st iteration and the 102nd iteration, which reduces the amount of calculation in the quantization process and improves the efficiency of the quantization operation.
  • the target iteration interval may also be calculated from the next iteration of the current inspection iteration, that is, the inspection iteration corresponding to the target iteration interval may also be the termination iteration of the target iteration interval.
  • the current inspection iteration is the 100th iteration
  • the processor determines that the iteration interval of the target iteration interval is 3 according to the data variation range of the data to be quantified.
  • the processor may determine that the target iteration interval includes 3 iterations, which are the 101st iteration, the 102nd iteration, and the 103rd iteration, respectively.
  • the processor can determine the quantization parameters such as the point position corresponding to the 100th iteration according to the data to be quantized and the target data bit width corresponding to the 100th iteration, and can use the quantization parameter pair such as the point position corresponding to the 100th iteration
  • the 101st, 102nd and 103rd iterations are quantified.
  • the processor does not need to calculate quantization parameters such as point positions in the 102nd iteration and the 103rd iteration, which reduces the amount of calculation in the quantization process and improves the efficiency of the quantization operation.
  • the data bit width and quantization parameter corresponding to each iteration in the same target iteration interval are all consistent, that is, the data bit width, point position, scaling factor, and offset corresponding to each iteration in the same target iteration interval are all the same. Keep it unchanged, so that during the training or fine-tuning process of the neural network, frequent adjustment of the quantization parameters of the data to be quantified can be avoided, and the amount of calculation in the quantization process can be reduced, thereby improving the quantization efficiency.
  • the quantization accuracy can be guaranteed.
  • the data bit width corresponding to each iteration in the neural network operation may change, but the data bit width of each iteration in the target iteration interval remains unchanged.
  • the quantization parameters such as the position of the point corresponding to the iteration in the target iteration interval may also be inconsistent.
  • the processor may also determine the data bit width corresponding to the target iteration interval according to the target data bit width corresponding to the current inspection iteration, wherein the data bit width corresponding to the iteration in the target iteration interval is consistent. After that, the processor can adjust the quantitative parameters such as the point position in the neural network operation process according to the data bit width and the point position iteration interval corresponding to the target iteration interval.
  • FIG. 8R a flowchart of a method 800R for adjusting a quantization parameter in a method for adjusting a quantization parameter according to an embodiment of the present disclosure is shown.
  • the above operation S300 may further include:
  • S310 Determine the data bit width corresponding to the target iteration interval according to the to-be-quantized data of the current inspection iteration; wherein, the data bit width corresponding to the iteration in the target iteration interval is consistent. In other words, the data bit width during the neural network operation is updated every other target iteration interval.
  • the data bit width corresponding to the target iteration interval may be the target data bit width of the current inspection iteration.
  • the target data bit width of the current inspection iteration please refer to operations S114 and S115 above, which will not be repeated here.
  • the target iteration interval may be calculated from the current inspection iteration, that is, the inspection iteration corresponding to the target iteration interval may be the initial iteration of the target iteration interval. For example, if the current inspection iteration is the 100th iteration, the processor determines that the target iteration interval is 6, according to the data change range of the data to be quantified, and the processor can determine that the target iteration interval includes 6 iterations, which are respectively the 100th iteration. Iterations to the 105th iteration.
  • the processor can determine the target data bit width of the 100th iteration, and the target data bit width of the 100th iteration is used from the 101st to 105th iterations, and there is no need for the 101st to 105th iterations Calculate the target data bit width, thereby reducing the amount of calculation and improving the quantization efficiency and computing efficiency.
  • the 106th iteration can be used as the current inspection iteration, and the above operations of determining the target iteration interval and updating the data bit width are repeated.
  • the target iteration interval may also be calculated from the next iteration of the current inspection iteration, that is, the inspection iteration corresponding to the target iteration interval may also be the termination iteration of the target iteration interval.
  • the current inspection iteration is the 100th iteration
  • the processor determines that the iteration interval of the target iteration interval is 6 according to the data variation range of the data to be quantified. Then the processor may determine that the target iteration interval includes 6 iterations, which are respectively the 101st iteration to the 106th iteration.
  • the processor can determine the target data bit width of the 100th iteration, and the target data bit width of the 100th iteration will be used from the 101st to 106th iterations, and there is no need to calculate the target from the 101st to 106th iterations.
  • Data bit width reduces the amount of calculation and improves quantization efficiency and computing efficiency.
  • the 106th iteration can be used as the current inspection iteration, and the above operations of determining the target iteration interval and updating the data bit width are repeated.
  • the processor adjusts the point position corresponding to the iteration in the target iteration interval according to the acquired point position iteration interval and the data bit width corresponding to the target iteration interval to adjust quantitative parameters such as point positions in the neural network operation .
  • the point position iteration interval includes at least one iteration, and the iterated point positions in the point position iteration interval are consistent.
  • the point position iteration interval may be a hyperparameter, for example, the point position iteration interval may be user-defined input.
  • the point position iteration interval is less than or equal to the target iteration interval.
  • the processor can synchronously update the quantization parameters such as the data bit width and the point position at the current inspection iteration.
  • the scaling factors corresponding to iterations in the target iteration interval may be consistent.
  • the offsets corresponding to the iterations in the target iteration interval are consistent.
  • the quantization parameters such as the data bit width and point positions corresponding to the iterations in the target iteration interval are all the same, so that the amount of calculation can be reduced, and the quantization efficiency and computing efficiency can be improved.
  • the specific implementation process is basically the same as the foregoing embodiment, and may refer to the above description, which will not be repeated here.
  • the processor can update the data bit width and point position and other quantitative parameters at the inspection iteration corresponding to the target iteration interval, and update at the sub-inspection iteration determined by the point position iteration interval Quantitative parameters such as point position. Since the quantization parameters such as the point position can be fine-tuned according to the data to be quantized when the data bit width is unchanged, the quantization parameters such as the point position can also be adjusted within the same target iteration interval to further improve the quantization accuracy.
  • the processor may determine a sub-inspection iteration according to the current inspection iteration and the point position iteration interval, the sub-inspection iteration is used to adjust the point position, and the sub-inspection iteration may be an iteration in the target iteration interval. Further, the processor may adjust the position of the point corresponding to the iteration in the target iteration interval according to the data to be quantified in the sub-inspection iteration and the data bit width corresponding to the target iteration interval.
  • the method for determining the point position can refer to the above formula, where No longer.
  • the current inspection iteration is the 100th iteration
  • the target iteration interval is 6, and the target iteration interval includes iterations from the 100th iteration to the 105th iteration.
  • the processor may use the 100th iteration as the above-mentioned sub-test iteration, and calculate the point position s1 corresponding to the 100th iteration.
  • the point position s1 is shared in the 100th iteration, the 101st iteration, and the 102nd iteration. s1 is quantified.
  • the processor can use the 103rd iteration as the aforementioned sub-test iteration according to the point position iteration interval Is1 , and the processor can also determine the data bit width n corresponding to the target iteration interval and the data to be quantified corresponding to the 103rd iteration
  • the point position s2 corresponding to the second point position iteration interval can be quantified by sharing the aforementioned point position s2 from the 103rd iteration to the 105th iteration.
  • the values of the aforementioned point position s1 before update and the point position s2 after update may be the same or different.
  • the processor may determine the next target iteration interval and the quantization parameters such as the data bit width and point position corresponding to the next target iteration interval according to the data variation range of the data to be quantified again in the 106th iteration.
  • the current inspection iteration is the 100th iteration
  • the target iteration interval is 6, and the target iteration interval includes iterations from the 101st iteration to the 106th iteration.
  • the processor may determine that the point position corresponding to the first point position iteration interval is s1 according to the data to be quantified in the current inspection iteration and the target data bit width n1 corresponding to the current inspection iteration.
  • the second iteration and the 103th iteration share the above-mentioned point position s1 for quantization.
  • the processor can use the 104th iteration as the aforementioned sub-test iteration according to the point position iteration interval I s1 , and the processor can also determine the data bit width n1 corresponding to the target iteration interval and the data to be quantified corresponding to the 104th iteration
  • the point position s2 corresponding to the second point position iteration interval can be quantified by sharing the aforementioned point position s2 from the 104th iteration to the 106th iteration.
  • the values of the aforementioned point position s1 before update and the point position s2 after update may be the same or different.
  • the processor may determine the next target iteration interval and the quantization parameters such as the data bit width and point position corresponding to the next target iteration interval according to the data variation range of the data to be quantized again in 106 iterations.
  • the point position iteration interval may be equal to 1, that is, the point position is updated once for each iteration.
  • the point position iteration interval can be the same or different.
  • the at least one point position iteration interval included in the target iteration interval may increase sequentially.
  • the scaling factors corresponding to iterations in the target iteration interval may also be inconsistent.
  • the scaling factor can be updated synchronously with the aforementioned point position, that is, the iteration interval corresponding to the scaling factor can be equal to the aforementioned point position iteration interval. That is, whenever the processor updates the position of the determined point, it will update the determined zoom factor accordingly.
  • the offset corresponding to the iteration in the target iteration interval may also be inconsistent.
  • the offset can be updated synchronously with the aforementioned point position, that is, the iteration interval corresponding to the offset can be equal to the aforementioned point position iteration interval. That is, whenever the processor updates the position of the determined point, it will update the determined offset accordingly.
  • the offset can also be updated asynchronously with the aforementioned location position or data bit width, which is not specifically limited here.
  • the processor may also determine the minimum and maximum values of all elements of the data to be quantized, and further determine quantization parameters such as point positions and scaling coefficients. For details, please refer to the above description.
  • the processor may comprehensively determine the data change range of the data to be quantized according to the change range of the point position and the data bit width of the data to be quantized, and determine the target according to the data change range of the data to be quantized Iteration interval, where the target iteration interval can be used to update the determined data bit width, that is, the processor can update the determined data bit width at each verification iteration of the target iteration interval. Since the point position can reflect the accuracy of the fixed-point data, and the data bit width can reflect the data representation range of the fixed-point data, by integrating the change range of the point position and the data bit width change of the data to be quantized, it is possible to ensure that the quantized data can take into account the accuracy , Can also meet the data representation range.
  • the change range of the point position can be characterized by the aforementioned first error, and the change of the data bit width can be determined according to the aforementioned quantization error.
  • FIG. 8S a flowchart of a method 800S for determining a target iteration interval in a parameter adjustment method of another embodiment of the present disclosure is shown.
  • the above method may include:
  • the first error can represent the variation range of the point position
  • the variation range of the point position may represent the data variation range of the data to be quantized; specifically, the calculation method of the first error can be referred to operation S110 above I won’t repeat the description here.
  • the aforementioned second error may be determined according to the quantization error, and the second error is positively correlated with the aforementioned quantization error.
  • FIG. 8T there is shown a flowchart of a method 800T for determining a target iteration interval in a parameter adjustment method according to another embodiment of the present disclosure, and the above operation S500 may include:
  • the second error can be calculated according to the following formula:
  • diff update2 represents the aforementioned second error
  • diff bit represents the aforementioned quantization error
  • ⁇ can be a hyperparameter
  • the target iteration interval is determined according to the second error and the first error.
  • the processor may calculate the target error according to the first error and the second error, and determine the target iteration interval according to the target error.
  • the processor may determine a target iteration interval according to the target error, and the target iteration interval is negatively correlated with the target error. That is, the larger the target error, the smaller the target iteration interval.
  • the target error can also be determined according to the maximum value of the first error and the second error, and the weight of the first error or the second error is 0.
  • the foregoing operation S600 may include:
  • the processor may compare the magnitude of the first error diff update1 and the second error diff update2 , and when the first error diff update1 is greater than the second error diff update2 , the target error is equal to the first error diff update1 .
  • the target error is equal to the second error diff update2 .
  • the target error can be the first error diff update1 or the second error diff update2 . That is, the target error diff update can be determined according to the following formula:
  • diff update max(diff update1 , diff update2 ) formula (45)
  • diff update refers to the target error
  • diff update1 refers to the first error
  • diff update2 refers to the second error
  • the target iteration interval can be determined as follows:
  • the target iteration interval can be calculated according to the following formula:
  • I represents the target iteration interval
  • diff update represents the above-mentioned target error
  • ⁇ and ⁇ can be hyperparameters.
  • the data bit width in the neural network operation is variable, and the change trend of the data bit width can be measured by the second error.
  • the processor may perform operation S630 to determine the data bit width corresponding to the iteration in the target iteration interval, where the data bit width corresponding to the iteration in the target iteration interval Consistent.
  • the processor may determine the data bit width corresponding to the target iteration interval according to the to-be-quantized data of the current inspection iteration.
  • the data bit width during the neural network operation is updated every other target iteration interval.
  • the data bit width corresponding to the target iteration interval may be the target data bit width of the current inspection iteration.
  • For the target data bit width of the current inspection iteration please refer to operations S114 and S115 above, which will not be repeated here.
  • the target iteration interval may be calculated from the current inspection iteration, that is, the inspection iteration corresponding to the target iteration interval may be the initial iteration of the target iteration interval. For example, if the current inspection iteration is the 100th iteration, the processor determines that the target iteration interval is 6, according to the data change range of the data to be quantified, and the processor can determine that the target iteration interval includes 6 iterations, which are respectively the 100th iteration. Iterations to the 105th iteration.
  • the processor can determine the target data bit width of the 100th iteration, and the target data bit width of the 100th iteration is used from the 101st to 105th iterations, and there is no need for the 101st to 105th iterations Calculate the target data bit width, thereby reducing the amount of calculation and improving the quantization efficiency and computing efficiency.
  • the 106th iteration can be used as the current inspection iteration, and the above operations of determining the target iteration interval and updating the data bit width are repeated.
  • the target iteration interval may also be calculated from the next iteration of the current inspection iteration, that is, the inspection iteration corresponding to the target iteration interval may also be the termination iteration of the target iteration interval.
  • the current inspection iteration is the 100th iteration
  • the processor determines that the iteration interval of the target iteration interval is 6 according to the data variation range of the data to be quantified. Then the processor may determine that the target iteration interval includes 6 iterations, which are respectively the 101st iteration to the 106th iteration.
  • the processor can determine the target data bit width of the 100th iteration, and the target data bit width of the 100th iteration will be used from the 101st to 106th iterations, and there is no need to calculate the target from the 101st to 106th iterations.
  • Data bit width reduces the amount of calculation and improves quantization efficiency and computing efficiency.
  • the 106th iteration can be used as the current inspection iteration, and the above operations of determining the target iteration interval and updating the data bit width are repeated.
  • the processor may also determine the quantization parameter in the target iteration interval at the inspection iteration, so as to adjust the quantization parameter in the neural network operation according to the target iteration interval. That is, the quantization parameters such as the point position in the neural network operation can be updated synchronously with the data bit width.
  • the quantization parameters corresponding to the iterations in the target iteration interval may be consistent.
  • the processor may determine the point position corresponding to the current inspection iteration according to the data to be quantified in the current inspection iteration and the target data bit width corresponding to the current inspection iteration, and use the point position corresponding to the current inspection iteration as the target iteration The point positions corresponding to the interval, where the points corresponding to the iterations in the target iteration interval are consistent.
  • each iteration in the target iteration interval uses the quantization parameters such as the point position of the current inspection iteration, which avoids updating and adjusting the quantization parameters in each iteration, thereby reducing the amount of calculation in the quantization process and improving the quantization Operational efficiency.
  • the scaling factors corresponding to iterations in the target iteration interval may be consistent.
  • the processor may determine the scaling factor corresponding to the current test iteration according to the to-be-quantized data of the current test iteration, and use the scaling factor corresponding to the current test iteration as the scaling factor of each iteration in the target iteration interval. Wherein, the scaling factors corresponding to the iterations in the target iteration interval are consistent.
  • the offsets corresponding to the iterations in the target iteration interval are consistent.
  • the processor may determine the offset corresponding to the current inspection iteration according to the to-be-quantized data of the current inspection iteration, and use the offset corresponding to the current inspection iteration as the offset of each iteration in the target iteration interval. Further, the processor may also determine the minimum value and the maximum value among all the elements of the data to be quantized, and further determine quantization parameters such as point positions and scaling factors. For details, please refer to the above description.
  • the offset corresponding to the iteration in the target iteration interval is consistent.
  • the target iteration interval may be calculated from the current inspection iteration, that is, the inspection iteration corresponding to the target iteration interval may be the initial iteration of the target iteration interval. For example, if the current inspection iteration is the 100th iteration, the processor determines that the target iteration interval is 3 according to the data change range of the data to be quantified, and the processor can determine that the target iteration interval includes 3 iterations, each being the 100th iteration. Second iteration, 101st iteration and 102nd iteration.
  • the processor can determine the quantization parameters such as the point position corresponding to the 100th iteration according to the data to be quantized and the target data bit width corresponding to the 100th iteration, and can use the quantization parameter pair such as the point position corresponding to the 100th iteration
  • the 100th iteration, the 101st iteration and the 102th iteration are quantified.
  • the processor does not need to calculate quantization parameters such as point positions in the 101st iteration and the 102nd iteration, which reduces the amount of calculation in the quantization process and improves the efficiency of the quantization operation.
  • the target iteration interval may also be calculated from the next iteration of the current inspection iteration, that is, the inspection iteration corresponding to the target iteration interval may also be the termination iteration of the target iteration interval.
  • the current test iteration is the 100th iteration
  • the processor determines the iteration interval of the target iteration interval to be 3 according to the data variation range of the data to be quantified.
  • the processor may determine that the target iteration interval includes 3 iterations, which are the 101st iteration, the 102nd iteration, and the 103rd iteration, respectively.
  • the processor can determine the quantization parameters such as the point position corresponding to the 100th iteration according to the data to be quantized and the target data bit width corresponding to the 100th iteration, and can use the quantization parameter pair such as the point position corresponding to the 100th iteration
  • the 101st, 102nd and 103rd iterations are quantified.
  • the processor does not need to calculate quantization parameters such as point positions in the 102nd iteration and the 103rd iteration, which reduces the amount of calculation in the quantization process and improves the efficiency of the quantization operation.
  • the data bit width and quantization parameter corresponding to each iteration in the same target iteration interval are all consistent, that is, the data bit width, point position, scaling factor, and offset corresponding to each iteration in the same target iteration interval are all the same. Keep it unchanged, so that during the training or fine-tuning process of the neural network, frequent adjustment of the quantization parameters of the data to be quantified can be avoided, and the amount of calculation in the quantization process can be reduced, thereby improving the quantization efficiency.
  • the quantization accuracy can be guaranteed.
  • the processor may also determine the quantization parameter in the target iteration interval according to the point position iteration interval corresponding to the quantization parameter such as the point position, so as to adjust the quantization parameter in the neural network operation. That is to say, the quantitative parameters such as the point position in the neural network operation can be updated asynchronously with the data bit width.
  • the processor can update the quantitative parameters such as the data bit width and the point position at the inspection iteration of the target iteration interval, and the processor can also iterate according to the point position.
  • the interval separately updates the point position corresponding to the iteration in the target iteration interval.
  • the processor may also determine the data bit width corresponding to the target iteration interval according to the target data bit width corresponding to the current inspection iteration, where the data bit width corresponding to the iteration in the target iteration interval is consistent. After that, the processor can adjust the quantitative parameters such as the point position in the neural network operation process according to the data bit width and the point position iteration interval corresponding to the target iteration interval. That is, as shown in FIG. 8T, after determining the data bit width corresponding to the target iteration interval, the processor may also perform operation S640 to adjust the target according to the acquired point position iteration interval and the data bit width corresponding to the target iteration interval.
  • the point position iteration interval includes at least one iteration, and the iterated point positions in the point position iteration interval are consistent.
  • the point position iteration interval may be a hyperparameter, for example, the point position iteration interval may be user-defined input.
  • the point position iteration interval is less than or equal to the target iteration interval.
  • the processor can synchronously update the quantization parameters such as the data bit width and the point position at the current inspection iteration.
  • the scaling factors corresponding to iterations in the target iteration interval may be consistent.
  • the offsets corresponding to the iterations in the target iteration interval are consistent.
  • the quantization parameters such as the data bit width and point positions corresponding to the iterations in the target iteration interval are all the same, so that the amount of calculation can be reduced, and the quantization efficiency and computing efficiency can be improved.
  • the specific implementation process is basically the same as the foregoing embodiment, and may refer to the above description, which will not be repeated here.
  • the processor can update the data bit width and point position and other quantitative parameters at the inspection iteration corresponding to the target iteration interval, and update at the sub-inspection iteration determined by the point position iteration interval Quantitative parameters such as point position. Since the quantization parameters such as the point position can be fine-tuned according to the data to be quantized when the data bit width is unchanged, the quantization parameters such as the point position can also be adjusted within the same target iteration interval to further improve the quantization accuracy.
  • the processor may determine a sub-inspection iteration according to the current inspection iteration and the point position iteration interval, the sub-inspection iteration is used to adjust the point position, and the sub-inspection iteration may be an iteration in the target iteration interval. Further, the processor may adjust the position of the point corresponding to the iteration in the target iteration interval according to the data to be quantified in the sub-inspection iteration and the data bit width corresponding to the target iteration interval.
  • the method for determining the point position can refer to the above formula, where No longer.
  • the current inspection iteration is the 100th iteration
  • the target iteration interval is 6, and the target iteration interval includes iterations from the 100th iteration to the 105th iteration.
  • the processor may use the 100th iteration as the above-mentioned sub-test iteration, and calculate the point position s1 corresponding to the 100th iteration.
  • the point position s1 is shared in the 100th iteration, the 101st iteration, and the 102nd iteration. s1 is quantified.
  • the processor can use the 103rd iteration as the aforementioned sub-test iteration according to the point position iteration interval Is1 , and the processor can also determine the data bit width n corresponding to the target iteration interval and the data to be quantified corresponding to the 103rd iteration
  • the point position s2 corresponding to the second point position iteration interval can be quantified by sharing the aforementioned point position s2 from the 103rd iteration to the 105th iteration.
  • the values of the aforementioned point position s1 before update and the point position s2 after update may be the same or different.
  • the processor may determine the next target iteration interval and the quantization parameters such as the data bit width and point position corresponding to the next target iteration interval according to the data variation range of the data to be quantified again in the 106th iteration.
  • the current inspection iteration is the 100th iteration
  • the target iteration interval is 6, and the target iteration interval includes iterations from the 101st iteration to the 106th iteration.
  • the processor may determine that the point position corresponding to the first point position iteration interval is s1 according to the data to be quantified in the current inspection iteration and the target data bit width n1 corresponding to the current inspection iteration.
  • the second iteration and the 103th iteration share the above-mentioned point position s1 for quantization.
  • the processor can use the 104th iteration as the aforementioned sub-test iteration according to the point position iteration interval I s1 , and the processor can also determine the data bit width n1 corresponding to the target iteration interval and the data to be quantified corresponding to the 104th iteration
  • the point position s2 corresponding to the second point position iteration interval can be quantified by sharing the aforementioned point position s2 from the 104th iteration to the 106th iteration.
  • the values of the aforementioned point position s1 before update and the point position s2 after update may be the same or different.
  • the processor may determine the next target iteration interval and the quantization parameters such as the data bit width and point position corresponding to the next target iteration interval according to the data variation range of the data to be quantified again in the 106th iteration.
  • the point position iteration interval may be equal to 1, that is, the point position is updated once for each iteration.
  • the point position iteration interval can be the same or different.
  • the at least one point position iteration interval included in the target iteration interval may increase sequentially.
  • the scaling factors corresponding to iterations in the target iteration interval may also be inconsistent.
  • the scaling factor can be updated synchronously with the aforementioned point position, that is, the iteration interval corresponding to the scaling factor can be equal to the aforementioned point position iteration interval. That is, whenever the processor updates the determined point position, it will update the determined zoom factor accordingly.
  • the offset corresponding to the iteration in the target iteration interval may also be inconsistent.
  • the offset can be updated synchronously with the aforementioned point position, that is, the iteration interval corresponding to the offset can be equal to the aforementioned point position iteration interval. That is, whenever the processor updates the position of the determined point, it will update the determined offset accordingly.
  • the offset can also be updated asynchronously with the aforementioned location position or data bit width, which is not specifically limited here.
  • the processor may also determine the minimum and maximum values of all elements of the data to be quantized, and further determine quantization parameters such as point positions and scaling coefficients. For details, please refer to the above description.
  • the three quantization parameters of point position, scaling factor, and offset can also be asynchronous, that is, one of the point position iteration interval, scaling factor iteration interval, and offset iteration interval or All three are different.
  • the point position iteration interval and the scaling factor iteration interval are both less than or equal to the target iteration interval.
  • the offset iteration interval can be smaller than the target iteration interval. Since the offset is only related to the distribution of the data to be quantized, in an alternative embodiment, the offset may also be completely asynchronous with the target iteration interval, that is, the offset iteration interval may also be greater than the target iteration interval .
  • the above-mentioned method can be used in the training or fine-tuning process of the neural network to realize the adjustment of the quantization parameters of the operation data involved in the neural network fine-tuning or the training process to improve the neural network operation process
  • the operation data may be at least one of neuron data, weight data or gradient data.
  • Figure 8L according to the data change curve of the data to be quantified, it can be seen that in the initial stage of training or fine-tuning, the difference between the data to be quantified in each iteration is relatively large, and the data change range of the data to be quantified is relatively severe.
  • the value of the target iteration interval can be smaller, and the quantization parameter in the target iteration interval can be updated in time to ensure the quantization accuracy.
  • the data change range of the data to be quantified gradually tends to be flat.
  • the value of the target iteration interval can be increased to avoid frequent updating of the quantization parameters to improve the quantization efficiency and computing efficiency.
  • the training or fine-tuning of the neural network tends to be stable (that is, when the positive operation result of the neural network approaches the preset reference value, the training or fine-tuning of the neural network tends to be stable), At this time, you can continue to increase the value of the target iteration interval to further improve the quantization efficiency and computing efficiency.
  • different methods can be used to determine the target iteration interval at different stages of neural network training or fine-tuning, so as to improve the quantization efficiency and computing efficiency on the basis of ensuring the quantization accuracy.
  • FIG. 8U a flowchart of a quantization parameter adjustment method 800U according to another embodiment of the present disclosure is shown.
  • the method may also include:
  • the processor determines whether the current iteration is greater than the first preset iteration.
  • the current iteration refers to the iterative operation currently performed by the processor.
  • the first preset iteration may be a hyperparameter, the first preset iteration may be determined according to a data variation curve of the data to be quantified, and the first preset iteration may also be set by a user.
  • the first preset iteration may be less than the total number of iterations included in one training period (epoch), where one training period means that all data to be quantized in the data set complete one forward operation and one reverse operation.
  • the processor may perform operation S711 to set the first preset iteration interval as the target iteration interval, and adjust according to the first preset iteration interval Quantization parameters.
  • the processor may read the first preset iteration input by the user, and determine the first preset iteration interval according to the correspondence between the first preset iteration and the first preset iteration interval.
  • the first preset iteration interval may be a hyperparameter, and the first preset iteration interval may also be set by a user.
  • the processor can directly read the first preset iteration and the first preset iteration interval input by the user, and update the quantization parameter in the neural network operation according to the first preset iteration interval.
  • the processor does not need to determine the target iteration interval according to the data variation range of the data to be quantified.
  • the quantization parameter can be updated according to the first preset iteration interval. That is, the processor can determine that the quantization parameter is updated every 5 iterations from the first iteration to the 100th iteration of the training or fine-tuning of the neural network. Specifically, the processor may determine the quantization parameters such as the data bit width n1 and the point position s1 corresponding to the first iteration, and use the data bit width n1 and the point position s1 to analyze the results from the first iteration to the fifth iteration.
  • the data to be quantized is quantized, that is, the same quantization parameter can be used from the first iteration to the fifth iteration.
  • the processor can determine the quantization parameters such as the data bit width n2 and the point position s2 corresponding to the 6th iteration, and use the data bit width n2 and the point position s2 to determine the waiting time from the 6th iteration to the 10th iteration.
  • the quantized data is quantized, that is, the same quantization parameter can be used from the 6th iteration to the 10th iteration.
  • the processor can follow the above quantization method until the 100th iteration is completed.
  • the method for determining the quantization parameters such as the data bit width and point positions in each iteration interval can be referred to the above description, and will not be repeated here.
  • the first preset iteration input by the user is the 100th iteration, and the first preset iteration interval is 1.
  • the quantization parameter can be updated according to the first preset iteration interval . That is, the processor can determine that the quantization parameter is updated in each iteration from the first iteration to the 100th iteration of the training or fine-tuning of the neural network. Specifically, the processor may determine quantization parameters such as the data bit width n1 and point position s1 corresponding to the first iteration, and use the data bit width n1 and point position s1 to quantize the data to be quantized in the first iteration .
  • the processor can determine quantization parameters such as the data bit width n2 and point position s2 corresponding to the second iteration, and use the data bit width n2 and point position s2 to quantize the data to be quantized in the second iteration. .
  • the processor can determine quantization parameters such as the data bit width n100 and point position s100 of the 100th iteration, and use the data bit width n100 and point position s100 to quantize the data to be quantized in the 100th iteration .
  • the method for determining the quantization parameters such as the data bit width and point positions in each iteration interval can be referred to the above description, and will not be repeated here.
  • the processor may also determine the iteration interval of the point position according to the variation range of the point position , And update the quantization parameters such as the point position according to the point position iteration interval.
  • the current iteration when the current iteration is greater than the first preset iteration, it can indicate that the training or fine-tuning of the neural network is in the mid-stage.
  • the data change range of the data to be quantized in the historical iteration can be obtained, and the data of the data to be quantized can be obtained according to the data
  • the range of variation determines the target iteration interval, and the target iteration interval may be greater than the above-mentioned first preset iteration interval, thereby reducing the number of times of updating the quantization parameter and improving the quantization efficiency and computing efficiency.
  • the processor may perform operation S713 to determine a target iteration interval according to the data variation range of the data to be quantized, and adjust the quantization parameter according to the target iteration interval.
  • the first preset iteration input by the user is the 100th iteration
  • the first preset iteration interval is 1.
  • the quantization can be updated according to the first preset iteration interval parameter. That is, the processor can determine that the quantization parameter is updated in each iteration from the first iteration to the 100th iteration of the training or fine-tuning of the neural network, and the specific implementation manner can be referred to the above description.
  • the processor can determine the data change range of the data to be quantized according to the data to be quantized in the current iteration and the data to be quantized in the previous historical iteration, and according to the data change range of the data to be quantized Determine the target iteration interval. Specifically, when the current iteration is greater than the 100th iteration, the processor can adaptively adjust the data bit width corresponding to the current iteration, obtain the target data bit width corresponding to the current iteration, and change the target data bit width corresponding to the current iteration As the data bit width of the target iteration interval, the data bit width corresponding to the iteration in the target iteration interval is consistent.
  • the processor may determine the point position corresponding to the current iteration according to the target data bit width corresponding to the current iteration and the data to be quantized, and determine the first error according to the point position corresponding to the current iteration.
  • the processor may also determine the quantization error according to the data to be quantized corresponding to the current iteration, and determine the second error according to the quantization error.
  • the processor may determine a target iteration interval according to the first error and the second error, and the target iteration interval may be greater than the aforementioned first preset iteration interval.
  • the processor may determine quantization parameters such as point positions or scaling coefficients in the target iteration interval, and the specific determination method may refer to the above description.
  • the processor determines that the target iteration interval is 3 according to the data change range of the data to be quantified, and the processor can determine that the target iteration interval includes 3 iterations, each being the 100th iteration Iteration, iteration 101, and iteration 102.
  • the processor can also determine the quantization error according to the data to be quantized in the 100th iteration, and determine the second error and the target data bit width corresponding to the 100th iteration according to the quantization error, and use the target data bit width as the data corresponding to the target iteration interval
  • the bit width where the data bit widths corresponding to the 100th iteration, the 101st iteration, and the 102th iteration are all target data bit widths corresponding to the 100th iteration.
  • the processor may also determine quantization parameters such as point positions and scaling factors corresponding to the 100th iteration according to the data to be quantized in the 100th iteration and the target data bit width corresponding to the 100th iteration. After that, the quantization parameters corresponding to the 100th iteration are used to quantize the 100th iteration, the 101st iteration, and the 102nd iteration.
  • FIG. 8V a flowchart of a quantization parameter adjustment method 800V according to still another embodiment of the present disclosure is shown.
  • the above method may further include:
  • the processor may further perform operation S712, that is, the processor may further determine whether the current iteration is greater than the second preset iteration.
  • the second preset iteration is greater than the first preset iteration
  • the second preset iteration interval is greater than the first preset iteration interval.
  • the foregoing second preset iteration may be a hyperparameter, and the second preset iteration may be greater than the total number of iterations of at least one training period.
  • the second preset iteration may be determined according to the data variation curve of the data to be quantified.
  • the second preset iteration may also be customized by the user.
  • the processor may perform operation S714, use the second preset iteration interval as the target iteration interval, and adjust the second preset iteration interval according to the second preset iteration interval.
  • the parameters of the neural network quantification process When the current iteration is greater than the first preset iteration and the current iteration is less than the second preset iteration, the processor may perform the above-mentioned operation S713, and determine the target iteration interval according to the data variation range of the data to be quantized, and according to the The target iteration interval adjusts the quantization parameter.
  • the processor may read the second preset iteration set by the user, and determine the second preset iteration interval according to the corresponding relationship between the second preset iteration and the second preset iteration interval, the second preset iteration The interval is greater than the first preset iteration interval.
  • the degree of convergence of the neural network meets a preset condition
  • the forward operation result of the current iteration approaches the preset reference value
  • the current iteration is greater than or equal to the second preset iteration.
  • the loss value corresponding to the current iteration is less than or equal to the preset threshold, it can be determined that the degree of convergence of the neural network meets the preset condition.
  • the aforementioned second preset iteration interval may be a hyperparameter, and the second preset iteration interval may be greater than or equal to the total number of iterations of at least one training period.
  • the second preset iteration interval may be customized by the user.
  • the processor can directly read the second preset iteration and the second preset iteration interval input by the user, and update the quantization parameter in the neural network operation according to the second preset iteration interval.
  • the second preset iteration interval may be equal to the total number of iterations of one training period, that is, the quantization parameter is updated once every training period (epoch).
  • the above method also includes:
  • the processor may also determine whether the current data bit width needs to be adjusted at each inspection iteration. If the current data bit width needs to be adjusted, the processor may switch from the above-mentioned operation S714 to operation S713 to re-determine the data bit width so that the data bit width can meet the requirements of the data to be quantized.
  • the processor may determine whether the data bit width needs to be adjusted according to the aforementioned second error.
  • the processor may also perform the above operation S715 to determine whether the second error is greater than a preset error value, and when the current iteration is greater than or equal to the second preset iteration and the second error is greater than the preset error value, switch to perform the operation S713: Determine an iteration interval according to the data variation range of the data to be quantized, so as to re-determine the data bit width according to the iteration interval.
  • the preset error value may be determined according to the preset threshold corresponding to the quantization error.
  • the processor may be based on the data to be quantized The data variation range of the determines the iteration interval, so as to re-determine the data bit width according to the iteration interval.
  • the second preset iteration interval is the total number of iterations in one training period.
  • the processor may update the quantization parameter according to the second preset iteration interval, that is, the quantization parameter is updated once every training period (epoch).
  • the initial iteration of each training period is regarded as a test iteration.
  • the processor can determine the quantization error according to the data to be quantized in the test iteration, and determine the second error according to the quantization error, And determine whether the second error is greater than the preset error value according to the following formula:
  • diff update2 represents the second error
  • diff bit represents the quantization error
  • ⁇ represents the hyperparameter
  • T represents the preset error value
  • the preset error value may be equal to the first preset threshold divided by the hyperparameter.
  • the preset error value may also be a hyperparameter.
  • the second error diff update2 is greater than the preset error value T, it means that the data bit width may not meet the preset requirements. At this time, the second preset iteration interval may no longer be used to update the quantization parameters, and the processor may follow the data to be quantized.
  • the range of data change determines the target iteration interval to ensure that the data bit width meets the preset requirements. That is, when the second error diff update2 is greater than the preset error value T, the processor switches from the aforementioned operation S714 to the aforementioned operation S713.
  • the processor may determine whether the data bit width needs to be adjusted according to the aforementioned quantization error.
  • the second preset iteration interval is the total number of iterations in one training period.
  • the processor may update the quantization parameter according to the second preset iteration interval, that is, the quantization parameter is updated once every training period (epoch).
  • the initial iteration of each training cycle is used as a test iteration.
  • the processor can determine the quantization error according to the data to be quantized in the test iteration, and when the quantization error is greater than or equal to the first preset threshold, it means that the data bit width may not meet the preset threshold. It is assumed that the processor switches from the above operation S714 to the above operation S713.
  • the aforementioned quantization parameters such as the position of the point, the scaling factor, and the offset may be displayed by a display device.
  • the user can learn the quantization parameter in the neural network operation process through the display device, and the user can also adaptively modify the quantization parameter determined by the processor.
  • the aforementioned data bit width and target iteration interval can also be displayed by the display device.
  • the user can learn the parameters such as the target iteration interval and data bit width in the neural network operation process through the display device, and the user can also adaptively modify the target iteration interval and data bit width determined by the processor.
  • the above-mentioned target iteration interval for determining the data bit width and the target iteration interval for the quantization parameter are only examples, not exhaustive. Those skilled in the art understand the essence of the technical solution of the present disclosure. Next, other deformations or transformations may be generated on the basis of the technical solution of the present disclosure.
  • the target iteration interval for determining the quantization parameter within the target iteration interval for determining the data bit width is also applicable to FIGS. 6, 7 and 8A.
  • the technical solution shown However, as long as the functions and technical effects achieved are similar to those of this disclosure, they should fall within the protection scope of this disclosure.
  • the technical solution is used to determine the quantization parameter, adjust the data bit width or quantization parameter according to the quantization error, and determine the target iteration interval for adjusting the data bit width or quantization parameter, so as to achieve the appropriate time point in the neural network operation process.
  • the data bit width or quantization parameters are adjusted so that the appropriate quantization parameters are used at the appropriate iteration time point to realize the artificial intelligence processor chip to perform the neural network operation to reach the fixed-point operation speed, and to improve the peak computing power of the artificial intelligence processor chip At the same time, it satisfies the accuracy of floating-point operations required for operations.
  • steps in the flowcharts of FIGS. 2, 6, 7, and 8A to 8V are displayed in sequence as indicated by the arrows, these steps are not necessarily executed in the order indicated by the arrows. Unless specifically stated in this article, the execution of these steps is not strictly limited in order, and these steps can be executed in other orders. Moreover, at least a part of the steps in FIGS. 2, 6, 7, and 8A to 8V may include multiple sub-steps or multiple stages. These sub-steps or stages are not necessarily executed at the same time, but can be completed at the same time. When executed at different moments, the execution order of these sub-steps or stages is not necessarily performed sequentially, but may be executed alternately or alternately with other steps or at least part of the sub-steps or stages of other steps.
  • the device 10 for determining the quantization parameter of the neural network may include a processor 110 and a memory 120.
  • the quantization parameter determination device 10 of the neural network in FIG. 9 only the constituent elements related to this embodiment are shown. Therefore, it is obvious to those of ordinary skill in the art that the quantization parameter determination device 10 of the neural network may also include common constituent elements different from those shown in FIG. 10. For example: fixed-point arithmetic.
  • the device 10 for determining the quantization parameter of a neural network can correspond to a computing device with various processing functions, for example, for generating a neural network, training or learning a neural network, quantizing a floating-point neural network into a fixed-point neural network, or retraining Function of neural network.
  • the quantization parameter determination apparatus 10 of a neural network may be implemented as various types of equipment, such as a personal computer (PC), server equipment, mobile equipment, and so on.
  • the processor 110 controls all functions of the quantitative parameter determination device 10 of the neural network.
  • the processor 110 controls all functions of the quantization parameter determination device 10 of the neural network by executing a program stored in the memory 120 on the quantization parameter determination device 10 of the neural network.
  • the processor 110 may be implemented by a central processing unit (CPU), a graphics processing unit (GPU), an application processor (AP), an artificial intelligence processor chip (IPU), etc., provided in the apparatus 10 for determining a quantitative parameter of a neural network.
  • CPU central processing unit
  • GPU graphics processing unit
  • AP application processor
  • IPU artificial intelligence processor chip
  • the memory 120 is hardware for storing various data processed in the quantization parameter determination device 10 of the neural network.
  • the memory 120 may store the processed data and the data to be processed in the device 10 for determining the quantitative parameter of the neural network.
  • the memory 120 can store the data set involved in the neural network operation process that the processor 110 has processed or to be processed, for example, the data of the untrained initial neural network, the intermediate data of the neural network generated during the training process, and all training is completed.
  • the memory 120 may store applications, driver programs, etc. to be driven by the quantization parameter determination device 10 of the neural network.
  • the memory 120 may store various programs related to the training algorithm, quantization algorithm, etc.
  • the memory 120 may be a DRAM, but the present disclosure is not limited thereto.
  • the memory 120 may include at least one of a volatile memory or a non-volatile memory.
  • Non-volatile memory can include read only memory (ROM), programmable ROM (PROM), electrically programmable ROM (EPROM), electrically erasable programmable ROM (EEPROM), flash memory, phase change RAM (PRAM), magnetic RAM (MRAM), resistance RAM (RRAM), ferroelectric RAM (FRAM), etc.
  • Volatile memory may include dynamic RAM (DRAM), static RAM (SRAM), synchronous DRAM (SDRAM), PRAM, MRAM, RRAM, ferroelectric RAM (FeRAM), etc.
  • the memory 120 may include a hard disk drive (HDD), a solid state drive (SSD), a high-density flash memory (CF), a secure digital (SD) card, a micro secure digital (Micro-SD) card, a mini secure digital (Mini -At least one of SD) card, xD card, caches or memory stick.
  • the processor 110 may generate a trained neural network by repeatedly training (learning) a given initial neural network.
  • the parameters of the initial neural network are a high-precision data representation format, such as a data representation format with 32-bit floating point precision.
  • the parameters may include various types of data input/output to/from the neural network, for example: input/output neurons, weights, biases, etc. of the neural network.
  • floating-point operations require relatively large amounts of operations and relatively frequent memory accesses.
  • most of the operations required for neural network processing are known as various convolution operations.
  • neural network high-precision data operations will make the resources of mobile devices underutilized.
  • the high-precision data involved in the neural network operation can be quantified and converted into low-precision fixed-point numbers.
  • the quantization parameter determination device 10 of the neural network performs conversion of the parameters of the trained neural network into fixed-point quantization with a specific number of bits, and the neural network
  • the network quantization parameter determination device 10 sends the corresponding quantization parameter to the device deploying the neural network, so that it is a fixed-point number arithmetic operation when the artificial intelligence processor chip performs training, fine-tuning and other operations.
  • the device deploying the neural network may be an autonomous vehicle, robot, smart phone, tablet device, augmented reality (AR) device, Internet of Things (IoT) device, etc. that perform voice recognition, image recognition, etc. by using neural network, but this disclosure does not Limited to this.
  • the processor 110 obtains data during the neural network operation from the memory 120.
  • the data includes at least one of neuron, weight, bias, and gradient.
  • the technical solution shown in FIG. 2 is used to determine the corresponding quantization parameter, and the quantization parameter is used to quantify the target data in the neural network operation process.
  • the processor 110 adjusts the data bit width n according to the quantization error diff bit , and the processor 110 can execute the program of the target iteration interval method shown in FIG. 6, FIG. 7 and FIG. 8 to determine the target iteration interval of the data bit width or The target iteration interval of the quantization parameter.
  • the method of this specification provides a neural network quantitative parameter determination device, and the specific functions implemented by the memory 120 and the processor 110 can be explained in comparison with the foregoing embodiments in this specification, and can achieve the foregoing embodiments. The technical effects of this will not be repeated here.
  • the processor 110 may be implemented in any suitable manner.
  • the processor 110 may take the form of, for example, a microprocessor or a processor, and a computer-readable medium storing computer-readable program codes (for example, software or firmware) executable by the (micro)processor, logic gates, switches, special purpose The form of integrated circuit (Application Specific Integrated Circuit, ASIC), programmable logic controller and embedded microcontroller, etc.
  • ASIC Application Specific Integrated Circuit
  • ASIC Application Specific Integrated Circuit
  • FIG. 10 it is a schematic diagram of the application of the neural network quantitative parameter determination device proposed in this disclosure to the artificial intelligence processor chip.
  • the processor 110 performs a quantization operation to quantize the floating-point data involved in the neural network operation into fixed-point numbers, and artificial intelligence processing
  • the fixed-point arithmetic unit on the chip uses the fixed-point number obtained by quantization to perform training, fine-tuning or inference.
  • Artificial intelligence processor chips are dedicated hardware used to drive neural networks. Since the artificial intelligence processor chip is implemented with relatively low power or performance, the technical solution uses low-precision fixed-point numbers to implement neural network operations.
  • the technical solution can replace the floating-point arithmetic unit on the artificial intelligence processor chip with a fixed-point arithmetic unit, so that the power consumption of the artificial intelligence processor chip is lower. This is especially important for mobile devices. In other words, this technical solution opens the door to a large number of embedded systems that cannot run floating-point calculation codes efficiently, making it possible for the Internet of Things world to be widely used.
  • the artificial intelligence processor chip may correspond to, for example, a neural processing unit (NPU), a tensor processing unit (TPU), a neural engine, etc., which are dedicated chips for driving neural networks, but the present disclosure is not limited to this.
  • NPU neural processing unit
  • TPU tensor processing unit
  • a neural engine etc., which are dedicated chips for driving neural networks, but the present disclosure is not limited to this.
  • the artificial intelligence processor chip can be implemented in a separate device that is independent of the quantitative parameter determination device 10 of the neural network, and the quantitative parameter determination device 10 of the neural network can also be used as a part of the functional module of the artificial intelligence processor chip.
  • this disclosure is not limited to this.
  • the operating system of a general-purpose processor (such as CPU) generates instructions based on this technical solution, and sends the generated instructions to an artificial intelligence processor chip (such as GPU), and the artificial intelligence processor chip executes the instruction operations Realize the determination of the quantization parameters of the neural network and the quantification process.
  • the general-purpose processor directly determines the corresponding quantization parameter based on the technical solution
  • the general-purpose processor directly quantizes the corresponding target data according to the quantization parameter
  • the artificial intelligence processor chip uses the quantized data to perform fixed-point arithmetic operations.
  • general-purpose processors such as CPU
  • artificial intelligence processor chips such as GPU
  • the operating system of general-purpose processors (such as CPU) generates instructions based on this technical solution and copies target data at the same time Artificial intelligence processor chips (such as GPU) perform neural network operations, which can hide some time consumption. But this disclosure is not limited to this.
  • the embodiment of the present disclosure also provides a readable storage medium on which a computer program is stored, and when the computer program is executed, the method for determining the quantization parameter of the neural network described above is realized.
  • the precision fixed-point number can reduce all the space size of data storage involved in the process of neural network operation. For example: converting float32 to fix8 can reduce model parameters by 4 times. As the data storage space becomes smaller, a smaller space is used for neural network deployment, so that the on-chip memory on the artificial intelligence processor chip can hold more data, reducing the data access to the artificial intelligence processor chip, and improving computing performance.
  • FIG. 11 a functional block diagram of a device for determining quantitative parameters of a neural network proposed for this disclosure.
  • the method includes:
  • the statistical unit a is used to count the data to be quantified and determine the statistical result of each kind of data to be quantified; wherein the data to be quantified includes at least one of the neuron, weight, gradient, and bias of the neural network ;
  • the quantization parameter determination unit b is used to determine the corresponding quantization parameter by using the statistical results of each type of data to be quantized and the data bit width; wherein the quantization parameter is used by the artificial intelligence processor to correspondingly quantify the data in the neural network operation process.
  • the quantization parameter determination device of the neural network further includes:
  • the first quantization unit is configured to quantize the data to be quantized by using the corresponding quantization parameter.
  • the quantization parameter determination device of the neural network further includes:
  • the second quantization unit is configured to quantify the target data by using the corresponding quantization parameter; wherein the characteristics of the target data and the characteristics of the data to be quantized have similarities.
  • the neural network operation process includes at least one operation of neural network training, neural network inference, and neural network fine-tuning.
  • the statistical result obtained by the statistical unit is the maximum value and the minimum value in each type of data to be quantified.
  • the statistical result obtained by the statistical unit is the maximum absolute value of each type of data to be quantified.
  • the statistical unit determines the maximum absolute value according to the maximum value and the minimum value in each type of data to be quantized.
  • the quantization parameter determination unit determines the quantization parameter according to the maximum value, the minimum value and the data bit width in each type of data to be quantized.
  • the quantization parameter determination unit determines the quantization parameter according to the maximum absolute value of each type of data to be quantized and the data bit width.
  • the quantization parameter determined by the quantization parameter determination unit is a point position parameter or a first scaling coefficient.
  • the quantization parameter determination unit determines the first zoom factor according to the point position parameter and the second zoom factor; wherein the point position parameter used in determining the first zoom factor is a known fixed value, or The result of multiplying the point position parameter and the corresponding second scaling factor as a whole is used as the first scaling factor for data quantization in the neural network operation process.
  • the quantization parameter determined by the quantization parameter determination unit includes a point position parameter and a second scaling coefficient.
  • the quantization parameter determination unit determines the second scaling factor according to the point position parameter, the statistical result, and the data bit width.
  • the quantization parameter determined by the quantization parameter determination unit further includes an offset.
  • the quantization parameter determination unit determines the offset according to the statistical result of each type of data to be quantized.
  • the data bit width used by the quantization parameter determining unit is a preset value.
  • the quantization parameter determination unit includes an adjustment module and a quantization error determination module; wherein,
  • the adjustment module is configured to adjust the data bit width according to the corresponding quantization error
  • the quantization error determination module is configured to determine the quantization error according to the quantized data and the corresponding data before quantization.
  • the adjustment module is specifically used for:
  • the quantization error is compared with a threshold, and the data bit width is adjusted according to the comparison result; wherein the threshold includes at least one of a first threshold and a second threshold.
  • the adjustment module includes a first adjustment sub-module, wherein the first adjustment sub-module is used for:
  • the data bit width is increased.
  • the adjustment module includes a second adjustment sub-module, wherein the second adjustment sub-module is used for:
  • the data bit width is reduced.
  • the adjustment module includes a third adjustment sub-module, wherein the third adjustment sub-module is used for:
  • the data bit width remains unchanged.
  • the quantization error determination module includes:
  • a quantization interval determining sub-module configured to determine a quantization interval according to the data bit width
  • the first quantization error determination submodule is configured to determine the quantization error according to the quantization interval, the number of quantized data, and the corresponding data before quantization.
  • the quantization error determination module includes:
  • the dequantization data determining sub-module is used to dequantize the quantized data to obtain the dequantized data; wherein the data format of the dequantized data is the same as the data format of the corresponding data before quantization;
  • the second quantization error determination sub-module is configured to determine the quantization error according to the quantized data and corresponding inverse quantization data.
  • the data before quantization used by the quantization error determining module is the data to be quantized.
  • the data before quantization used by the quantization error determination module is the data to be quantized involved in the weight update iteration process within the target iteration interval; wherein, the target iteration interval includes at least one weight The value is updated iterations, and the same data bit width is used in the quantization process within the same target iteration interval.
  • the quantization parameter determination device of the neural network further includes a first target iteration interval determination unit; wherein, the first target iteration interval determination unit includes:
  • the first change trend value determination module is used to determine the change trend value of the point position parameter of the to-be-quantified data involved in the weight update iteration process at the predicted time point; wherein the predicted time point is used to determine whether The time point at which the data bit width needs to be adjusted, and the predictive time point corresponds to the time point when the weight update iteration is completed;
  • the first target iteration interval module is configured to determine the corresponding target iteration interval according to the change trend value of the point position parameter.
  • the first target iteration interval determination unit includes:
  • the second change trend value determination module is used to determine the change trend value of the point position parameter of the data to be quantified and the change trend value of the data bit width involved in the weight update iteration process at the predicted time point; wherein, the predicted The judgment time point is a time point for judging whether the data bit width needs to be adjusted, and the prediction time point corresponds to the time point when the weight update iteration is completed;
  • the second target iteration interval module is configured to determine the corresponding target iteration interval according to the change trend value of the point position parameter and the change trend value of the data bit width.
  • the first target iteration interval determination unit further includes a first pre-determined time point determination unit; wherein,
  • the first prediction time point determining unit is configured to determine the first prediction time point according to the target iteration interval.
  • the first target iteration interval determination unit further includes a second pre-determined time point determination unit; wherein, the second pre-determined time point determination unit is configured to determine the second pre-determined time point according to the data change amplitude curve. Judging the time point; wherein the data variation range curve is obtained by statistically calculating the data variation range during the weight update iteration process.
  • the first change trend value determination module and the second change trend value determination module are based on the sliding average value of the point position parameter corresponding to the current prediction time point, and the value corresponding to the previous prediction time point.
  • the sliding average value of the point position parameter determines the change trend value of the point position parameter.
  • the first change trend value determination module and the second change trend value determination module are based on the value of the point position parameter corresponding to the current predictive time point and the point position parameter corresponding to the previous predictive time point.
  • the sliding average value determines the change trend value of the point position parameter.
  • the first change trend value determination module and the second change trend value determination module both include:
  • the point position parameter determination sub-module corresponding to the current predictive time point is used to determine the point position parameter corresponding to the current predictive time point according to the point position parameter corresponding to the last predictive time point and the adjustment value of the data bit width ;
  • the adjustment result determination sub-module is configured to adjust the sliding average value of the point position parameter corresponding to the last pre-judged time point according to the adjustment value of the data bit width to obtain an adjustment result;
  • the first sliding average determination sub-module is configured to determine the sliding average of the point position parameters corresponding to the current prediction time point according to the point position parameters corresponding to the current prediction time point and the adjustment result.
  • the first change trend value determination module and the second change trend value determination module both include:
  • the intermediate result determination sub-module is used to determine the moving average of the point position parameter corresponding to the current predictive time point according to the moving average of the point position parameter corresponding to the last predictive time point and the point position parameter corresponding to the last predictive time point Intermediate result of value;
  • the second sliding average determination sub-module is configured to determine the point position corresponding to the current prediction time point according to the intermediate result of the sliding average of the point position parameter corresponding to the current prediction time point and the adjustment value of the data bit width The moving average of the parameter.
  • the second change trend value determination module determines the change trend value of the data bit width according to the corresponding quantization error.
  • the first target iteration interval determining unit further includes:
  • a quantization error determination module configured to determine a corresponding quantization error; wherein the data before quantization corresponding to the quantization error is the data to be quantized involved in the weight update iteration process corresponding to the pre-determined time point;
  • the data bit width determination module is used to determine the data bit width used in the quantization process within the target iteration interval according to the corresponding quantization error.
  • the data bit width determination module is specifically configured to:
  • the quantization error is compared with the threshold, and the data bit width used in the quantization process in the last target iteration interval is adjusted according to the comparison result, and the adjustment result is used as the data bit width used in the quantization process in the current target iteration interval.
  • the data before quantization used by the quantization error determining module is the data to be quantized involved in the weight update iteration within the target iteration interval; wherein, the target iteration interval includes at least one weight The iteration is updated, and the same quantization parameter is used in the quantization process within the same target iteration interval.
  • the quantization parameter determination device of the neural network further includes a second target iteration interval determination unit; wherein, the second target iteration interval determination unit includes:
  • the third change trend value determination module is used to determine the change trend value of the point position parameter of the to-be-quantified data involved in the weight update iteration process at the predicted time point; wherein, the predicted time point is used to determine whether The time point at which the quantization parameter needs to be adjusted, and the predictive time point corresponds to the time point when the weight update iteration is completed;
  • the third target iteration interval module is configured to determine the corresponding target iteration interval according to the change trend value of the point position parameter.
  • the quantization parameter determination unit determines the point position parameter according to the statistical result and the data bit width.
  • a device for adjusting data bit width which is characterized in that it includes:
  • An obtaining module configured to obtain a data bit width for performing quantization processing on the data to be quantized, the data bit width indicating the bit width of the quantized data after the quantization processing of the data to be quantized;
  • the quantization module is configured to perform quantization processing on a group of to-be-quantized data based on the data bit width, so as to convert the group of to-be-quantized data into a group of quantized data, and the group of quantized data has the data Bit width
  • a determining module configured to compare the set of data to be quantized with the set of quantized data, and determine the quantization error associated with the data bit width
  • the adjustment adjusts the data bit width based on the determined quantization error.
  • the comparison module includes:
  • An interval determining module configured to determine a quantization interval according to the data bit width
  • the error determination module is configured to determine the quantization error according to the quantization interval, the set of quantized data, and the set of data to be quantized.
  • the error determination module includes:
  • the quantization module is configured to perform inverse quantization on the set of quantized data according to the quantization interval to obtain a set of inverse quantization data, wherein the data format of the set of inverse quantization data is the same as the set of data to be quantized Are in the same data format;
  • the quantization error determination module is configured to determine the quantization error according to the set of dequantized data and the set of data to be quantized.
  • the adjustment module includes:
  • a comparison module configured to compare the quantization error with a preset threshold, where the preset threshold includes at least one of a first threshold and a second threshold;
  • the bit width adjustment module is used to adjust the data bit width according to the comparison result.
  • bit width adjustment module includes:
  • An increasing module is configured to increase the data bit width in response to determining that the quantization error is greater than or equal to a first threshold.
  • the adding module includes:
  • the step length increasing module is configured to increase the data bit width according to the first preset bit width step length to determine the adjusted data bit width.
  • the quantization module is further configured to perform quantization processing on the set of data to be quantized based on the adjusted data bit width, so as to convert the set of data to be quantized to another set of quantized data.
  • Data, the another set of quantized data has the adjusted data bit width;
  • the determining module is further configured to compare the one group of to-be-quantized data with the another group of quantized data, and determine another quantization error associated with the adjusted data bit width, until the another quantization error is less than The first preset threshold.
  • the device is called iteratively.
  • the adjustment module includes:
  • a reducing module is configured to reduce the data bit width in response to determining that the quantization error is less than or equal to the second threshold.
  • the reduction module includes:
  • the step size reduction module is configured to reduce the data bit width according to the second preset bit width step size to determine the adjusted data bit width.
  • the quantization module is further configured to perform quantization processing on the set of data to be quantized based on the adjusted data bit width, so as to convert the set of data to be quantized to another set of quantized data.
  • Data, the another set of quantized data has the adjusted data bit width;
  • the determining module is further configured to determine another quantization error associated with the adjusted data bit width based on the one set of data to be quantized and the another set of quantized data, until the another quantization error is greater than The second preset threshold.
  • the device is called iteratively.
  • the adjustment module includes:
  • a maintaining module is configured to maintain the data bit width in response to determining that the quantization error is between the first threshold and the second threshold.
  • it further includes:
  • An update module configured to update the quantization parameter used to perform quantization processing on the set of data to be quantized based on the set of data to be quantized and the adjusted data bit width;
  • the quantization module is further configured to perform quantization processing on the set of data to be quantized based on the updated quantization parameter.
  • the amplitude module is used to obtain the data variation amplitude of the data to be quantified
  • the interval module is configured to determine a target iteration interval according to the data variation range of the data to be quantified, so as to adjust the data bit width according to the target iteration interval, and the target iteration interval includes at least one iteration.
  • the amplitude module includes:
  • the point position module is used to obtain the variation range of the point position, wherein the variation range of the point position is used to represent the data variation range of the data to be quantized, and the variation range of the point position is the same as that of the data to be quantized
  • the amplitude is positively correlated.
  • the point location module includes:
  • the first average value module is used to determine the first average value according to the point position corresponding to the previous inspection iteration before the current inspection iteration and the point position corresponding to the historical iteration before the previous inspection iteration, wherein the previous inspection iteration Is the inspection iteration corresponding to the previous iteration interval before the target iteration interval;
  • the second average module is used to determine the second average value according to the point position corresponding to the current inspection iteration and the point position of the historical iteration before the current inspection iteration; wherein the point position corresponding to the current inspection iteration is based on the current The target data bit width corresponding to the inspection iteration and the data to be quantified are determined;
  • the first error module is configured to determine a first error according to the first average value and the second average value, and the first error is used to characterize the variation range of the point position.
  • the interval module includes:
  • the first interval module is configured to determine the target iteration interval according to the first error, and the target iteration interval is negatively correlated with the first error.
  • the amplitude module further includes:
  • the data variation range module is used to determine the data variation range of the data to be quantified according to the variation range of the point position and the variation trend of the data bit width.
  • the interval module further includes:
  • the iteration interval module is used to determine the target iteration interval according to the acquired first error and the second error; wherein the first error is used to characterize the variation range of the point position, and the second error is used to characterize the data bit width The trend of change.
  • the iteration interval module includes:
  • a target error module configured to use the maximum value of the first error and the second error as a target error
  • the target iteration interval module is configured to determine the target iteration interval according to the target error, wherein the target error is negatively correlated with the target iteration interval.
  • the second error is determined according to the quantization error
  • the quantization error is determined based on the data to be quantized in the current inspection iteration and the quantized data of the current inspection iteration, and the second error is positively correlated with the quantization error.
  • the device is used for neural network training or fine-tuning, and the device further includes:
  • the first iteration module is configured to determine a target iteration interval according to the data variation range of the data to be quantized when the current iteration is greater than the first preset iteration, and adjust the quantization parameter according to the target iteration interval.
  • the device further includes:
  • the second iteration module is configured to, when the current iteration is less than or equal to the first preset iteration, use the first preset iteration interval as the target iteration interval, and adjust according to the first preset iteration interval The quantization parameter.
  • the device further includes:
  • the third iteration module is configured to, when the current iteration is greater than or equal to the second preset iteration, use the second preset iteration interval as the target iteration interval, and adjust the second preset iteration interval according to the second preset iteration interval.
  • the second preset iteration is greater than the first preset iteration, and the second preset iteration interval is greater than the first preset iteration interval.
  • the device further includes:
  • the convergence module is configured to determine that the current verification iteration is greater than or equal to the second preset iteration when the convergence degree of the neural network meets a preset condition.
  • the device further includes:
  • the iteration interval is determined according to the data variation range of the data to be quantized, so as to re-determine the iteration interval according to the iteration interval. Data bit width.
  • a computer-readable storage medium which is characterized in that a computer program is stored thereon, and when the program is executed, the method according to any one of the above is realized.
  • an artificial intelligence chip is provided, characterized in that the chip includes the device for processing data according to any one of the above.
  • an electronic device wherein the electronic device includes the artificial intelligence chip described above.
  • a board in one embodiment, characterized in that the board includes: a storage device, an interface device, a control device, and an artificial intelligence chip according to the above;
  • the artificial intelligence chip is connected with the storage device, the control device, and the interface device;
  • the storage device is used to store data
  • the interface device is used to implement data transmission between the artificial intelligence chip and external equipment.
  • the control device is used to monitor the state of the artificial intelligence chip.
  • the storage device includes: multiple groups of storage units, each group of storage units is connected to the artificial intelligence chip through a bus, and the storage unit is a DDR SDRAM;
  • the chip includes: a DDR controller for controlling data transmission and data storage of each storage unit;
  • the interface device is a standard PCIE interface.
  • the determining the quantization parameter corresponding to each type of data to be quantized in the layer to be quantized includes:
  • the corresponding quantization parameter is calculated according to each type of data to be quantized and the corresponding data bit width.
  • the calculation of the corresponding quantization parameter according to each type of data to be quantized and the corresponding data bit width includes:
  • the point position of the target data is obtained according to the maximum absolute value in the target data and the data bit width corresponding to the target data, and the target data is any kind of waiting Quantitative data.
  • the calculation of the corresponding quantization parameter according to each type of data to be quantized and the corresponding data bit width includes:
  • the quantization parameter does not include an offset, obtain the maximum value of the quantized target data according to the target data and the data bit width corresponding to the target data, and the target data is any kind of data to be quantized;
  • the scaling factor of the target data is obtained.
  • the calculation of the corresponding quantization parameter according to each type of data to be quantized and the corresponding data bit width includes:
  • the point position of the target data is obtained according to the maximum value in the target data, the minimum value in the target data, and the data bit width corresponding to the target data.
  • the target data is any kind of data to be quantified.
  • the calculation of the corresponding quantization parameter according to each type of data to be quantized and the corresponding data bit width includes:
  • the quantization parameter includes an offset
  • the scaling factor of the target data is obtained.
  • the calculation of the corresponding quantization parameter according to each type of data to be quantized and the corresponding data bit width includes:
  • the offset of the target data is obtained, and the target data is any kind of data to be quantized.
  • the method further includes:
  • the data bit width corresponding to the target data is updated to the adjustment bit width, and the corresponding adjustment quantization parameter is calculated according to the target data and the adjustment bit width, so that the neural network performs processing according to the adjustment quantization parameter Quantify.
  • the adjusting the data bit width corresponding to the target data according to the quantization error and the error threshold to obtain the adjusting bit width corresponding to the target data includes:
  • the data bit width corresponding to the target data is increased to obtain the adjustment bit width corresponding to the target data.
  • calculating the adjusted quantization error of the target data according to the adjustment bit width and the target data
  • the adjusting the data bit width corresponding to the target data according to the quantization error and the error threshold includes:
  • the quantization error is less than the second error threshold
  • the data bit width corresponding to the target data is reduced, and the second error threshold is less than the first error threshold.
  • the method further includes:
  • the method further includes:
  • the target iteration interval corresponding to the target data according to the data variation range of the target data, so that the neural network updates the quantitative parameters of the target data according to the target iteration interval, and the target iteration interval includes at least one Iteratively, the target data is any kind of data to be quantified.
  • the method further includes:
  • the data bit width corresponding to the iteration of the target data in the target iteration interval is determined, so that the neural network is in the target data according to the target data.
  • the data bit width corresponding to the iteration within the iteration interval determines the quantization parameter.
  • the quantization parameter determination module includes:
  • the second quantization parameter determination submodule is used to calculate the corresponding quantization parameter according to each type of data to be quantized and the corresponding data bit width.
  • the second quantization parameter determination sub-module includes:
  • the first point position calculation unit is used to obtain the point position of the target data according to the maximum absolute value in the target data and the data bit width corresponding to the target data when the quantization parameter does not include the offset,
  • the target data is any kind of data to be quantified.
  • the second quantization parameter determination sub-module includes:
  • the first scaling factor calculation unit is configured to obtain the maximum value of the quantized target data according to the target data and the data bit width corresponding to the target data when the quantization parameter does not include the offset, the target data Is any kind of data to be quantized; according to the maximum absolute value in the target data and the maximum value of the quantized target data, the scaling factor of the target data is obtained.
  • the second quantization parameter determination sub-module includes:
  • the second point position calculation unit is configured to obtain, when the quantization parameter includes an offset, according to the maximum value in the target data, the minimum value in the target data, and the data bit width corresponding to the target data.
  • the point position of the target data, the target data is any kind of data to be quantified.
  • the second quantization parameter determination sub-module includes:
  • the second scaling factor calculation unit is configured to obtain the maximum value of the quantized target data according to the target data and the data bit width corresponding to the target data when the quantization parameter includes an offset, and the target data is Any kind of data to be quantized; obtaining the scaling factor of the target data according to the maximum value in the target data, the minimum value in the target data, and the maximum value of the quantized target data.
  • the second quantization parameter determination sub-module includes:
  • the offset calculation unit is configured to obtain the offset of the target data according to the maximum value and the minimum value in the target data, and the target data is any kind of data to be quantized.
  • the device further includes:
  • a quantization error determination module configured to determine the quantization error of the target data according to the target data and the quantization data corresponding to the target data, the target data being any kind of data to be quantized;
  • An adjustment bit width determination module configured to adjust the data bit width corresponding to the target data according to the quantization error and the error threshold to obtain the adjustment bit width corresponding to the target data
  • the adjustment quantization parameter determination module is configured to update the data bit width corresponding to the target data to the adjustment bit width, and calculate the corresponding adjustment quantization parameter according to the target data and the adjustment bit width, so that the nerve The network performs quantization according to the adjusted quantization parameter.
  • the adjustment bit width determination module includes:
  • the first adjustment bit width determination sub-module is configured to increase the data bit width corresponding to the target data when the quantization error is greater than the first error threshold to obtain the adjustment bit width corresponding to the target data.
  • the adjustment bit width determination module further includes:
  • the first adjusted quantization error determination sub-module is configured to calculate the adjusted quantization error of the target data according to the adjustment bit width and the target data;
  • the first adjustment bit width cyclic determination sub-module is configured to continue to increase the adjustment bit width according to the adjusted quantization error and the first error threshold until the adjusted bit width is calculated according to the adjustment bit width and the target data
  • the quantization error of is less than or equal to the first error threshold.
  • the adjustment bit width determination module includes:
  • the second adjustment bit width determination sub-module is configured to reduce the data bit width corresponding to the target data when the quantization error is less than a second error threshold, and the second error threshold is less than the first error threshold.
  • the adjustment bit width determination module further includes:
  • the second adjusted quantization error determination sub-module is configured to calculate the adjusted quantization error of the target data according to the adjustment bit width and the target data;
  • the second adjustment bit width cyclic determination sub-module is configured to continue to reduce the adjustment bit width according to the adjusted quantization error and the second error threshold until the adjusted bit width is calculated according to the adjustment bit width and the target data
  • the quantization error of is greater than or equal to the second error threshold.
  • the device in the fine-tuning stage and/or training stage of the neural network operation, the device further includes:
  • a data change range determination module configured to obtain the data change range of the target data in the current iteration and the historical iteration, the historical iteration being the iteration before the current iteration;
  • the target iteration interval determination module is configured to determine the target iteration interval corresponding to the target data according to the data variation range of the target data, so that the neural network updates the quantitative parameter of the target data according to the target iteration interval,
  • the target iteration interval includes at least one iteration, and the target data is any type of data to be quantified.
  • the device further includes:
  • the first target iteration interval application module is configured to determine the data bit width corresponding to the iteration of the target data in the target iteration interval according to the data bit width of the target data in the current iteration, so that the nerve
  • the network determines the quantization parameter according to the data bit width corresponding to the iteration of the target data within the target iteration interval.
  • a method for adjusting quantization parameters of a neural network includes:
  • the quantization parameter is used to implement the quantization operation on the data to be quantized in the neural network operation.
  • the quantization parameter includes a point position, and the point position is the position of a decimal point in the quantization data corresponding to the data to be quantized; the method further includes:
  • the quantization parameter includes a point position, and the point position is the position of a decimal point in the quantization data corresponding to the data to be quantized; the method further includes:
  • the point position iteration interval includes at least one iteration, and the iterated point positions in the point position iteration interval are consistent.
  • the point position iteration interval is less than or equal to the target iteration interval.
  • the quantization parameter further includes a scaling factor, and the scaling factor is updated synchronously with the point position.
  • the quantization parameter further includes an offset, and the offset is updated synchronously with the point position.
  • the method further includes:
  • the target data bit width corresponding to the current inspection iteration is determined.
  • the determining the target data bit width corresponding to the current inspection iteration according to the quantization error includes:
  • the data bit width corresponding to the current inspection iteration is reduced to obtain the target data bit width corresponding to the current inspection iteration.
  • increasing the data bit width corresponding to the current inspection iteration to obtain the target data bit width corresponding to the current inspection iteration includes:
  • the return execution determines the quantization error according to the data to be quantized in the current inspection iteration and the quantized data of the current inspection iteration, until the quantization error is less than the first preset threshold; wherein, the quantized data of the current inspection iteration It is obtained by quantizing the to-be-quantized data of the current inspection iteration according to the bit width of the first intermediate data.
  • reducing the data bit width corresponding to the current inspection iteration includes:
  • the return execution determines the quantization error according to the data to be quantized in the current inspection iteration and the quantized data of the current inspection iteration, until the quantization error is greater than the second preset threshold; wherein the quantized data of the current inspection iteration It is obtained by quantizing the to-be-quantized data of the current inspection iteration according to the bit width of the second intermediate data.
  • the obtaining the data variation range of the data to be quantified includes:
  • the variation range of the point position can be used to characterize the data variation range of the data to be quantized, and the variation range of the point position is positively correlated with the data variation range of the data to be quantized.
  • the variation range of the position of the acquisition point includes:
  • a first error is determined according to the first average value and the second average value, and the first error is used to characterize the variation range of the point position.
  • the determining the second mean value according to the point position corresponding to the current inspection iteration and the point position of the historical iteration before the current inspection iteration includes:
  • the second average value is determined according to the point position of the current inspection iteration and the preset number of intermediate sliding average values.
  • the determining the second mean value according to the point position corresponding to the current inspection iteration and the point position of the historical iteration before the current inspection iteration includes:
  • the second average value is determined according to the point position corresponding to the current inspection iteration and the first average value.
  • the method further includes:
  • the second average value is updated; wherein, the data bit width adjustment value of the current inspection iteration is based on the target data bit width and the initial data bit of the current inspection iteration. Wide ok.
  • the updating the second average value according to the acquired data bit width adjustment value of the current inspection iteration includes:
  • the second average value is reduced according to the data bit width adjustment value of the current inspection iteration
  • the second average value is increased according to the data bit width adjustment value of the current inspection iteration.
  • the determining the target iteration interval according to the data variation range of the data to be quantified includes:
  • the target iteration interval is determined according to the first error, and the target iteration interval is negatively correlated with the first error.
  • the obtaining the data variation range of the data to be quantified further includes:
  • the data change range of the data to be quantized is determined.
  • determining the target iteration interval according to the data variation range of the data to be quantified further includes:
  • the target iteration interval is determined; wherein, the first error is used to characterize the variation range of the point position, and the second error is used to characterize the change trend of the data bit width.
  • the determining the target iteration interval according to the acquired second error and the first error includes:
  • the target iteration interval is determined according to the target error, wherein the target error is negatively related to the target iteration interval.
  • the second error is determined according to the quantization error
  • the quantization error is determined based on the data to be quantized in the current inspection iteration and the quantized data of the current inspection iteration, and the second error is positively correlated with the quantization error.
  • the method is used for training or fine-tuning a neural network, and the method further includes:
  • the target iteration interval is determined according to the data variation range of the data to be quantized, and the quantization parameter is adjusted according to the target iteration interval.
  • the method further includes:
  • the first preset iteration interval is taken as the target iteration interval, and the quantization parameter is adjusted according to the first preset iteration interval.
  • the method further includes:
  • the second preset iteration is greater than the first preset iteration, and the second preset iteration interval is greater than the first preset iteration interval.
  • the method further includes:
  • the method further includes:
  • the iteration interval is determined according to the data variation range of the data to be quantized, so as to re-determine the iteration interval according to the iteration interval. Data bit width.
  • the data to be quantified is at least one of neuron data, weight data or gradient data.
  • a device for adjusting quantization parameters of a neural network which is characterized in that it includes a memory and a processor, the memory stores a computer program, and when the processor executes the computer program, the implementation is as described above. Any of the steps of the method.
  • a computer program is stored in the computer-readable storage medium, and when the computer program is executed, the steps of the method as described in any of the above are implemented.
  • a device for adjusting quantization parameters of a neural network characterized in that the device includes:
  • the obtaining module is used to obtain the data change range of the data to be quantified
  • the iteration interval determination module is configured to determine a target iteration interval according to the data variation range of the data to be quantified, so as to adjust the quantization parameter in the neural network operation according to the target iteration interval, wherein the target iteration interval includes at least In one iteration, the quantization parameter of the neural network is used to implement the quantization operation on the data to be quantized in the neural network operation.
  • the quantization parameter includes a point position, and the point position is the position of a decimal point in the quantization data corresponding to the data to be quantized; the device further includes:
  • the quantization parameter determination module is used to determine the point position corresponding to the iteration in the target iteration interval according to the target data bit width corresponding to the current inspection iteration and the data to be quantized in the current inspection iteration to adjust the neural network operation Point location
  • the quantization parameter includes a point position, and the point position is the position of a decimal point in the quantization data corresponding to the data to be quantized; the device further includes:
  • the data bit width determination module is configured to determine the data bit width corresponding to the target iteration interval according to the target data bit width corresponding to the current inspection iteration, wherein the data bit widths corresponding to the iterations in the target iteration interval are consistent;
  • the quantization parameter determination module is configured to adjust the point position corresponding to the iteration in the target iteration interval according to the acquired point position iteration interval and the data bit width corresponding to the target iteration interval to adjust the point position in the neural network operation ;
  • the point position iteration interval includes at least one iteration, and the iterated point positions in the point position iteration interval are consistent.
  • the point position iteration interval is less than or equal to the target iteration interval.
  • the quantization parameter further includes a scaling factor, and the scaling factor is updated synchronously with the point position.
  • the quantization parameter further includes an offset, and the offset is updated synchronously with the point position.
  • the data bit width determination module includes:
  • the quantization error determination unit is configured to determine the quantization error according to the quantized data of the current inspection iteration and the quantized data of the current inspection iteration, wherein the quantized data of the current inspection iteration compares the quantization data of the current inspection iteration Data is obtained quantitatively;
  • the data bit width determining unit is configured to determine the target data bit width corresponding to the current inspection iteration according to the quantization error.
  • the data bit width determining unit is configured to determine the target data bit width corresponding to the current inspection iteration according to the quantization error, specifically:
  • the data bit width corresponding to the current inspection iteration is reduced to obtain the target data bit width corresponding to the current inspection iteration.
  • the data bit width determining unit is configured to, if the quantization error is greater than or equal to a first preset threshold, increase the data bit width corresponding to the current inspection iteration to obtain the data bit width corresponding to the current inspection iteration
  • the target data bit width it is specifically used for:
  • the return execution determines the quantization error according to the data to be quantized in the current inspection iteration and the quantized data of the current inspection iteration, until the quantization error is less than the first preset threshold; wherein, the quantized data of the current inspection iteration It is obtained by quantizing the to-be-quantized data of the current inspection iteration according to the bit width of the first intermediate data.
  • the data bit width determining unit is configured to reduce the data bit width corresponding to the current inspection iteration if the quantization error is less than or equal to a second preset threshold, to obtain the current inspection iteration corresponding
  • the target data bit width of is specifically used for:
  • the return execution determines the quantization error according to the data to be quantized in the current inspection iteration and the quantized data of the current inspection iteration, until the quantization error is greater than the second preset threshold; wherein the quantized data of the current inspection iteration It is obtained by quantizing the to-be-quantized data of the current inspection iteration according to the bit width of the second intermediate data.
  • the acquisition module includes:
  • the first acquisition module is used to acquire the variation range of the point position; wherein the variation range of the point position can be used to characterize the data variation range of the data to be quantized, and the variation range of the point position is related to the data to be quantified.
  • the data changes are positively correlated.
  • the first acquisition module includes:
  • the first mean value determining unit is configured to determine the first mean value according to the point position corresponding to the previous test iteration before the current test iteration and the point position corresponding to the historical iteration before the last test iteration, wherein the last The inspection iteration is the inspection iteration corresponding to the previous iteration interval before the target iteration interval;
  • the second mean value determining unit is configured to determine the second mean value according to the point position corresponding to the current inspection iteration and the point position of the historical iteration before the current inspection iteration; wherein the point position corresponding to the current inspection iteration is based on the The target data bit width corresponding to the current inspection iteration and the data to be quantified are determined;
  • the first error determining unit is configured to determine a first error according to the first average value and the second average value, and the first error is used to characterize the variation range of the point position.
  • the second average value determining unit is specifically configured to:
  • the second average value is determined according to the point position of the current inspection iteration and the preset number of intermediate sliding average values.
  • the second average value determining unit is specifically configured to determine the second average value according to the point position corresponding to the current inspection iteration and the first average value.
  • the second average value determining unit is configured to update the second average value according to the acquired data bit width adjustment value of the current inspection iteration
  • the data bit width adjustment value of the current inspection iteration is determined according to the target data bit width and the initial data bit width of the current inspection iteration.
  • the second average value determining unit is configured to update the second average value according to the acquired data bit width adjustment value of the current inspection iteration, specifically for:
  • the second average value is reduced according to the data bit width adjustment value of the current inspection iteration
  • the second average value is increased according to the data bit width adjustment value of the current inspection iteration.
  • the iteration interval determination module is configured to determine the target iteration interval according to the first error, and the target iteration interval is negatively correlated with the first error.
  • the acquisition module further includes:
  • the second acquisition module is used to acquire the change trend of the data bit width; determine the data change range of the data to be quantified according to the change range of the point position and the change trend of the data bit width.
  • the iteration interval determination module is further configured to determine the target iteration interval according to the acquired first error and second error; wherein, the first error is used to characterize the magnitude of change in the position of a point, so The second error is used to characterize the changing trend of the data bit width.
  • the root iteration interval determination module is configured to determine the target iteration interval according to the acquired first error and second error, specifically for:
  • the target iteration interval is determined according to the target error, wherein the target error is negatively related to the target iteration interval.
  • the second error is determined according to the quantization error
  • the quantization error is determined based on the data to be quantized in the current inspection iteration and the quantized data of the current inspection iteration, and the second error is positively correlated with the quantization error.
  • the device is used to implement training or fine-tuning of the neural network; the iteration interval determination module is also used to:
  • the target iteration interval is determined according to the data variation range of the data to be quantized, and the quantization parameter is adjusted according to the target iteration interval.
  • the iteration interval determination module is further configured to: when the current iteration is less than or equal to the first preset iteration, use the first preset iteration interval as the target iteration interval, and set it according to The first preset iteration interval adjusts the quantization parameter.
  • the iteration interval determination module is further configured to:
  • the second preset iteration is greater than the first preset iteration, and the second preset iteration interval is greater than the first preset iteration interval.
  • the iteration interval determination module is further configured to: when the current iteration is greater than or equal to the second preset iteration, and the second error is greater than the preset error value, then according to the data of the data to be quantized
  • the variation range determines the iteration interval, so as to re-determine the data bit width according to the iteration interval.
  • the above device embodiments are only illustrative, and the device of the present disclosure may also be implemented in other ways.
  • the division of the units/modules in the foregoing embodiment is only a logical function division, and there may be other division methods in actual implementation.
  • multiple units, modules, or components may be combined or integrated into another system, or some features may be omitted or not implemented.
  • the units or modules described as separate components may or may not be physically separate.
  • a component described as a unit or module may be a physical unit or not a physical unit, that is, it may be located in one device, or may be distributed on multiple devices.
  • the solutions of the embodiments of the present disclosure can be implemented by selecting some or all of the units according to actual needs.
  • the functional units/modules in the various embodiments of the present disclosure may be integrated into one unit/module, or each unit/module may exist alone physically, or two or more units/modules may exist.
  • the modules are integrated together.
  • the above-mentioned integrated units/modules can be implemented in the form of hardware or software program modules.
  • the above device embodiments are only illustrative, and the device of the present disclosure may also be implemented in other ways.
  • the division of units/modules in the above embodiments is only a logical function division, and there may be other division methods in actual implementation.
  • multiple units, modules, or components may be combined or integrated into another system, or some features may be omitted or not implemented.
  • the units or modules described as separate components may or may not be physically separate.
  • a component described as a unit or module may be a physical unit or not a physical unit, that is, it may be located in one device, or may be distributed on multiple devices.
  • the solutions of the embodiments of the present disclosure can be implemented by selecting some or all of the units according to actual needs.
  • the functional units/modules in the various embodiments of the present disclosure may be integrated into one unit/module, or each unit/module may exist alone physically, or two or more units/modules may exist.
  • the modules are integrated together.
  • the above-mentioned integrated units/modules can be implemented in the form of hardware or software program modules.
  • the hardware may be a digital circuit, an analog circuit, and so on.
  • the physical realization of the hardware structure includes but is not limited to transistors, memristors and so on.
  • the artificial intelligence processor may be any appropriate hardware processor, such as: CPU, GPU, FPGA, DSP, ASIC, and so on.
  • the storage unit may be any suitable magnetic storage medium or magneto-optical storage medium, such as: resistive random access memory (RRAM), dynamic random access memory (DRAM), Static random access memory SRAM (Static Random-Access Memory), enhanced dynamic random access memory EDRAM (Enhanced Dynamic Random Access Memory), high-bandwidth memory HBM (High-Bandwidth Memory), hybrid storage cube HMC (Hybrid Memory Cube), etc. Wait.
  • RRAM resistive random access memory
  • DRAM dynamic random access memory
  • Static random access memory SRAM Static Random-Access Memory
  • enhanced dynamic random access memory EDRAM Enhanced Dynamic Random Access Memory
  • high-bandwidth memory HBM High-Bandwidth Memory
  • hybrid storage cube HMC Hybrid Memory Cube
  • the integrated unit/module is implemented in the form of a software program module and sold or used as an independent product, it can be stored in a computer readable memory.
  • the technical solution of the present disclosure essentially or the part that contributes to the prior art or all or part of the technical solution can be embodied in the form of a software product, the computer software product is stored in a memory, A number of instructions are included to enable a computer device (which may be a personal computer, a server, or a network device, etc.) to perform all or part of the steps of the method described in each embodiment of the present disclosure.
  • the aforementioned memory includes: U disk, read-only memory (ROM, Read-Only Memory), random access memory (RAM, Random Access Memory), mobile hard disk, magnetic disk or optical disk and other various media that can store program codes.
  • the present disclosure also discloses an artificial intelligence chip, which includes the above-mentioned neural network quantitative parameter determination device.
  • the present disclosure also discloses a board card, which includes a storage device, an interface device, a control device, and the aforementioned artificial intelligence chip; wherein, the artificial intelligence chip and the storage device, the control device, and The interface devices are respectively connected; the storage device is used to store data; the interface device is used to realize data transmission between the artificial intelligence chip and external equipment; the control device is used to The state of the smart chip is monitored.
  • Fig. 12 shows a structural block diagram of a board card according to an embodiment of the present disclosure.
  • the board card may include other supporting components in addition to the chip 389 described above.
  • the supporting components include, but are not limited to: a storage device 390, Interface device 391 and control device 392;
  • the storage device 390 is connected to the artificial intelligence chip through a bus for storing data.
  • the storage device may include multiple groups of storage units 393. Each group of the storage unit and the artificial intelligence chip are connected through a bus. It can be understood that each group of the storage unit may be DDR SDRAM (English: Double Data Rate SDRAM, double-rate synchronous dynamic random access memory).
  • the storage device may include 4 groups of the storage units. Each group of the storage unit may include a plurality of DDR4 particles (chips).
  • the artificial intelligence chip may include four 72-bit DDR4 controllers. In the 72-bit DDR4 controller, 64 bits are used for data transmission and 8 bits are used for ECC verification. It can be understood that when DDR4-3200 particles are used in each group of the storage units, the theoretical bandwidth of data transmission can reach 25600MB/s.
  • each group of the storage unit includes a plurality of double-rate synchronous dynamic random access memories arranged in parallel.
  • DDR can transmit data twice in one clock cycle.
  • a controller for controlling the DDR is provided in the chip for controlling the data transmission and data storage of each storage unit.
  • the interface device is electrically connected with the artificial intelligence chip.
  • the interface device is used to implement data transmission between the artificial intelligence chip and an external device (such as a server or a computer).
  • the interface device may be a standard PCIE interface.
  • the data to be processed is transferred from the server to the chip through a standard PCIE interface to realize data transfer.
  • the interface device may also be other interfaces. This disclosure does not limit the specific manifestations of the other interfaces mentioned above, as long as the interface unit can realize the switching function.
  • the calculation result of the artificial intelligence chip is still transmitted by the interface device back to an external device (such as a server).
  • the control device is electrically connected with the artificial intelligence chip.
  • the control device is used to monitor the state of the artificial intelligence chip.
  • the artificial intelligence chip and the control device may be electrically connected through an SPI interface.
  • the control device may include a single-chip microcomputer (Micro Controller Unit, MCU).
  • MCU Micro Controller Unit
  • the artificial intelligence chip may include multiple processing chips, multiple processing cores, or multiple processing circuits, and can drive multiple loads. Therefore, the artificial intelligence chip can be in different working states such as multiple load and light load.
  • the control device can realize the regulation of the working states of multiple processing chips, multiple processing and or multiple processing circuits in the artificial intelligence chip.
  • an electronic device which includes the aforementioned artificial intelligence chip.
  • Electronic equipment includes data processing devices, robots, computers, printers, scanners, tablets, smart terminals, mobile phones, driving recorders, navigators, sensors, cameras, servers, cloud servers, cameras, cameras, projectors, watches, headsets , Mobile storage, wearable devices, vehicles, household appliances, and/or medical equipment.
  • the transportation means include airplanes, ships, and/or vehicles;
  • the household appliances include televisions, air conditioners, microwave ovens, refrigerators, rice cookers, humidifiers, washing machines, electric lights, gas stoves, and range hoods;
  • the medical equipment includes nuclear magnetic resonance, B-ultrasound and/or electrocardiograph.
  • a method for adjusting the data bit width characterized in that the method includes:
  • the data bit width is adjusted based on the determined quantization error.
  • the quantization error is determined according to the quantization interval, the set of quantized data, and the set of data to be quantized.
  • determining the quantization error according to the quantization interval, the set of quantized data, and the set of to-be-quantized data includes:
  • the quantization interval perform inverse quantization on the set of quantized data to obtain a set of inverse quantization data, wherein the data format of the set of inverse quantization data is the same as the data format of the set of to-be-quantized data; as well as
  • the preset threshold includes at least one of a first threshold and a second threshold
  • the data bit width is adjusted according to the result of the comparison.
  • the data bit width is increased.
  • the data bit width is increased according to the first preset bit width step to determine the adjusted data bit width.
  • quantization processing is performed on the set of to-be-quantized data to convert the set of to-be-quantized data to another set of quantized data, and the other set of quantized data has the The adjusted data bit width;
  • the data bit width is reduced.
  • the data bit width is reduced according to the second preset bit width step to determine the adjusted data bit width.
  • quantization processing is performed on the set of to-be-quantized data to convert the set of to-be-quantized data to another set of quantized data, and the other set of quantized data has the The adjusted data bit width;
  • the data bit width is maintained.
  • quantization processing is performed on the set of data to be quantized.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Neurology (AREA)
  • Quality & Reliability (AREA)
  • Probability & Statistics with Applications (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Image Analysis (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

一种神经网络的量化参数确定方法及相关产品。相关产品包括一种板卡，所述板卡包括：存储器件（390）、接口装置（391）和控制器件（392）以及人工智能芯片（389）；其中，所述人工智能芯片（389）与所述存储器件（390）、所述控制器件（392）以及所述接口装置（391）分别连接；所述存储器件（390），用于存储数据；所述接口装置（391），用于实现所述人工智能芯片（389）与外部设备之间的数据传输；所述控制器件（392），用于对所述人工智能芯片（389）的状态进行监控。所述板卡可以用于执行人工智能运算。

Description

一种神经网络的量化参数确定方法及相关产品 技术领域
本披露的实施例涉及一种神经网络的量化参数确定方法及相关产品。
背景技术
神经网络(neural network，NN)是一种模仿生物神经网络的结构和功能的数学模型或计算模型。神经网络通过样本数据的训练，不断修正网络权值和阈值使误差函数沿负梯度方向下降，逼近期望输出。它是一种应用较为广泛的识别分类模型，多用于函数逼近、模型识别分类、数据压缩和时间序列预测等。
在实际运用中，神经网络的数据常用32Bit，现有的神经网络的数据占用的比特位较多，虽然确保了精度，但是需要较高的存储空间以及处理带宽，提高了成本。
发明内容
为了解决上述所述的技术问题，本披露提出用于调整数据位宽的方法及相关产品。
为实现上述目的，本披露提供一种用于调整数据位宽的方法，其特征在于，所述方法包括：
获取用于针对待量化数据执行量化处理的数据位宽，所述数据位宽指示所述待量化数据在经过所述量化处理后的量化后数据的位宽；
基于所述数据位宽，针对一组待量化数据执行量化处理，以将所述一组待量化数据转换至一组量化后数据，所述一组量化后数据具有所述数据位宽；
比较所述一组待量化数据和所述一组量化后数据，确定与所述数据位宽相关联的量化误差；以及
基于确定的所述量化误差来调整所述数据位宽。
为实现上述目的，本披露提供调整数据位宽的装置，包括存储器及处理器，所述存储器上存储有可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述所述方法的步骤。
为实现上述目的，本披露提供一种计算机可读存储介质，其上存储有计算机程序，其中，所述计算机程序被处理器执行时实现上述所述的方法的步骤。
为实现上述目的，本披露提供一种调整数据位宽的设备，所述设备包括：
获取单元，用于获取用于针对待量化数据执行量化处理的数据位宽，所述数据位宽指示所述待量化数据在经过所述量化处理后的量化后数据的位宽；
量化单元，用于基于所述数据位宽，针对一组待量化数据执行量化处理，以将所述一组待量化数据转换至一组量化后数据，所述一组量化后数据具有所述数据位宽；
确定单元，用于比较所述一组待量化数据和所述一组量化后数据，确定与所述数据位宽相关联的量化误差；以及
调整单元，用于基于确定的所述量化误差来调整所述数据位宽。
在神经网络运算过程中，量化时利用本披露的技术方案确定数据位宽，该数据位宽用于人工智能处理器对神经网络运算过程中的数据进行量化，将高精度数据转换为低精度定点数，可以减少神经网络运算过程中涉及的数据存储所有的空间大小。例如：float32转化为fix8可以将模型参数减少4倍。由于数据存储空间变小，使得神经网络部署时使用更小的空间，使得人工智能处理器芯片上的片上内存可以容纳更多的数据，减少了人工智能处理器芯片访存数据，提高计算性能。
附图说明
为了更清楚地说明本披露实施例的技术方案，下面将对实施例的附图作简单地介绍，显而易见地，下面描述中的附图仅仅涉及本披露的一些实施例，而非对本披露的限制。
图1为神经网络结构示意图；
图2为本披露提出的一种神经网络的量化参数确定方法流程图；
图3为对称的定点数表示示意图；
图4为引入偏移量的定点数表示示意图；
图5A为训练过程中神经网络的权值数据变动幅度曲线图之一；
图5B为训练过程中神经网络的权值数据变动幅度曲线图之二；
图6为确定目标迭代间隔的方法流程图之一；
图7为确定目标迭代间隔的方法流程图之二；
图8A为确定目标迭代间隔的方法流程图之三；
图8B示出本披露一实施例中数据位宽调整方法的流程图；
图8C示出本披露另一实施例中数据位宽调整方法的流程图；
图8D示出本披露又一实施例中数据位宽调整方法的流程图；
图8E示出本披露再一实施例中数据位宽调整方法的流程图；
图8F示出根据本披露实施例的神经网络量化方法的流程图；
图8G示出根据本披露实施例的神经网络量化方法的流程图；
图8H示出根据本披露实施例的神经网络量化方法的流程图；
图8I示出根据本披露实施例的神经网络量化方法的流程图；
图8J示出根据本披露实施例的神经网络量化方法的流程图；
图8K示出本披露一实施例的量化参数调整方法的流程图；
图8L示出本披露一实施例的待量化数据在运算过程中的变动趋势图；
图8M示出本披露一实施例的参数调整方法中目标迭代间隔的确定方法的流程图；
图8N示出本披露一实施例中点位置的变动幅度的确定方法的流程图；
图8O示出本披露一实施例中第二均值的确定方法的流程图；
图8P示出本披露另一实施例中第二均值的确定方法的流程图；
图8Q示出本披露另一实施例的量化参数调整方法的流程图；
图8R示出本披露一实施例的量化参数调整方法中调整量化参数的流程图；
图8S示出本披露另一实施例的参数调整方法中目标迭代间隔的确定方法的流程图；
图8T示出本披露又一实施例的参数调整方法中目标迭代间隔的确定方法的流程图；
图8U示出本披露又一实施例的量化参数调整方法的流程图；
图8V示出本披露再一实施例的量化参数调整方法的流程图；
图9为本披露提出的一种神经网络的量化参数确定装置的硬件配置的框图；
图10为本披露提出的神经网络的量化参数确定装置应用于人工智能处理器芯片的应用示意图；
图11为本披露提出的一种神经网络的量化参数确定设备的功能框图；
图12为本披露实施例的板卡的结构框图。
为了解决神经网络量化的问题，我们提出了如下的方案(201910505239.7)包括附图2-1至图2-31。
图2-1示出根据本披露实施例的神经网络量化方法的流程图。
图2-2示出根据本披露实施例的神经网络量化方法的流程图。
图2-3示出根据本披露实施例的神经网络量化方法的流程图。
图2-4示出根据本披露实施例的神经网络量化方法的流程图。
图2-5示出根据本披露实施例的神经网络量化方法中量化参数不包括偏移量时，量化前后的数据对应示意图。
图2-6示出根据本披露实施例的神经网络量化方法的流程图。
图2-7示出根据本披露实施例的神经网络量化方法中量化参数包括偏移量时，量化前后的数据对应示意图。
图2-8示出根据本披露实施例的神经网络量化方法的流程图。
图2-9示出根据本披露实施例的神经网络量化方法的流程图。
图2-10示出根据本披露实施例的神经网络量化方法的流程图。
图2-11示出根据本披露实施例的神经网络量化方法的流程图。
图2-12示出根据本披露实施例的神经网络量化方法的流程图。
图2-13示出根据本披露实施例的神经网络量化方法的流程图。
图2-14示出根据本披露实施例的神经网络量化方法的流程图。
图2-15示出根据本披露实施例的神经网络量化方法的流程图。
图2-16示出根据本披露实施例的神经网络量化方法的流程图。
图2-17示出根据本披露实施例的神经网络量化方法的流程图。
图2-18示出根据本披露实施例的神经网络量化方法的流程图。
图2-19示出根据本披露实施例的神经网络量化方法的流程图。
图2-20示出根据本披露实施例的神经网络量化方法的流程图。
图2-21示出根据本披露实施例的神经网络量化方法的流程图。
图2-22示出根据本披露实施例的神经网络量化方法的流程图。
图2-23示出根据本披露实施例的神经网络量化方法的流程图。
图2-24示出根据本披露实施例的神经网络量化方法的流程图。
图2-25示出根据本披露实施例的神经网络量化方法的流程图。
图2-26示出根据本披露实施例的神经网络量化装置的示意图。
图2-27示出根据本披露实施例的神经网络量化装置的示意图。
图2-28示出根据本披露实施例的神经网络量化装置的示意图。
图2-29示出根据本披露实施例的神经网络量化装置的示意图。
图2-30示出根据本披露实施例的神经网络量化装置的示意图。
图2-31示出根据本披露实施例的板卡的结构框图。
为了解决量化参数调整的问题，我们提出了如下的方案(201910528537.8)包括附图3-1至图3-25。
图3-1示出本披露一实施例的量化参数调整方法的应用环境示意图；
图3-2示出本披露一实施例的待量化数据和量化数据的对应关系示意图；
图3-3示出本披露一实施例的待量化数据的转换示意图；
图3-4示出本披露一实施例的量化参数调整方法的流程图；
图3-5示出本披露一实施例的待量化数据在运算过程中的变动趋势图；
图3-6示出本披露一实施例的参数调整方法中目标迭代间隔的确定方法的流程图；
图3-7示出本披露一实施例中点位置的变动幅度的确定方法的流程图；
图3-8示出本披露一实施例中第二均值的确定方法的流程图；
图3-9示出本披露一实施例中数据位宽调整方法的流程图；
图3-10示出本披露另一实施例中数据位宽调整方法的流程图；
图3-11示出本披露又一实施例中数据位宽调整方法的流程图；
图3-12示出本披露再一实施例中数据位宽调整方法的流程图；
图3-13示出本披露另一实施例中第二均值的确定方法的流程图；
图3-14示出本披露另一实施例的量化参数调整方法的流程图；
图3-15示出本披露一实施例的量化参数调整方法中调整量化参数的流程图；
图3-16示出本披露另一实施例的参数调整方法中目标迭代间隔的确定方法的流程图；
图3-17示出本披露又一实施例的参数调整方法中目标迭代间隔的确定方法的流程图；
图3-18示出本披露又一实施例的量化参数调整方法的流程图；
图3-19示出本披露再一实施例的量化参数调整方法的流程图；
图3-20示出本披露一实施例的量化参数调整装置的结构框图；
图3-21示出本披露一实施例的量化参数调整装置的结构框图；
图3-22示出本披露一实施例的量化参数调整装置的结构框图；
图3-23示出本披露一实施例的量化参数调整装置的结构框图；
图3-24示出本披露一实施例的量化参数调整装置的结构框图；
图3-25示出根据本披露实施例的板卡的结构框图。
具体实施方式
下面将结合本披露实施例中的附图，对本披露实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本披露一部分实施例，而不是全部的实施例。基于本披露中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本披露保护的范围。
应当理解，本披露的条款、说明书及附图中的术语“第一”、“第二”、“第三”和“第四”等是用于区别不同对象，而不是用于描述特定顺序。本披露的说明书和条款书中使用的术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在此本披露说明书中所使用的术语仅仅是出于描述特定实施例的目的，而并不意在限定本披露。如在本披露说明书和条款书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。还应当进一步理解，在本披露说明书和条款书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
如在本说明书和条款书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
技术术语定义：
浮点数：IEEE浮点标准用V＝(-1)∧sign*mantissa*2∧E的形式表示一个数。其中，sign为符号位，0表示正数，1代表负数；E表示阶码，对浮点数进行加权，权值是2的E次幂(可能是负数次幂)；mantissa表示尾数，mantissa是一个二进制小数，其范围是1～2-ε，或者是0-ε。浮点数表示在计算机中的表示分为三个字段，分别对这些字段进行编码：
(1)一个单独的符号位s直接编码符号s。
(2)k位的阶码字段编码阶码，exp＝e(k-1)......e(1)e(0)。
(3)n位的小数字段mantissa，编码尾数。但编码结果依赖阶码阶段是否全为0。
定点数：由共享指数(exponent)、符号位(sign)、尾数(mantissa)三部分构成。其中，共享指数是说指数在需要量化的一个实数集合内共享；符号位标志了定点数的正负。尾数决定了定点数的有效数字位数，即精度。以8-bit定点数类型为例，其数值计算方法为：
value＝(-1) sign×(mantissa)×2 (exponent-127)
二进制小数：任意十进制数都可以用公式∑j*10 i表示。例如十进制数12.34，以公 式1表示为：12.34＝1*10 1+2*10 0+3*10 -1+4*10 -2，小数点的左边计为10的正次幂，小数点的右边计为10的负次幂。同理，二进制小数也可以用这种方式表达，小数点左边为2的正次幂，小数点的右边计为2的负次幂，十进制小数5.75可用二进制小数101.11表示，该二进制小数表示为5.75＝1*2 2+0*2 1+1*2 0+1*2 -1+1*2 -2。
溢出:在定点运算器中，数的表示有一定的范围。在运算过程中。若数的大小超出了定点数能表示的范围，称为“溢出”。
KL(Kullback–Leibler divergence)散度：又称为相对熵(relative entropy)、信息散度(information divergence)、信息增益(information gain)。KL散度是两个概率分布P和Q之间差别的非对称性的度量。KL散度是用来度量使用基于Q的编码来编码来自P的样本平均所需的额外的比特个数。典型情况下，P表示数据的真实分布，Q表示数据的理论分布、模型分布、或P的近似分布。
数据位宽：数据用多少个比特位来表示。
量化：将以往用32bit或者64bit表达的高精度数转换成占用较少内存空间的定点数的过程，高精度数转换为定点数的过程就会在精度上引起一定的损失。
下面结合附图，对本披露实施例提供的一种神经网络的量化参数确定方法及相关产品的具体实施方式进行详细说明。
神经网络(neural network，NN)是一种模仿生物神经网络的结构和功能的数学模型，神经网络由大量的神经元连接进行计算。因此，神经网络是一种计算模型，由大量的节点(或称“神经元”)相互的连接构成。每个节点代表一种特定的输出函数，称为激活函数(activation function)。每两个神经元之间的连接都代表一个通过该连接信号的加权值，称之为权值，这相当于神经网络的记忆。神经网络的输出则依神经元之间的连接方式以及权值和激活函数的不同而不同。在神经网络中，神经元是神经网络的基本单位。它获得一定数量的输入和一个偏置，当信号(值)到达时会乘以一个权值。连接是将一个神经元连接到另一层或同一层的另一个神经元，连接伴随着与之相关联的权值。另外，偏置是神经元的额外输入，它始终为1，并具有自己的连接权值。这确保即使所有的输入都为空(全部为0)，神经元也会激活。
在应用中，如果不对神经网络中的神经元应用一个非线性函数，神经网络只是一个线性函数而已，那么它并不比单个神经元强大。如果让一个神经网络的输出结果在0到1之间，例如，在猫狗鉴别的例子中，可以把接近于0的输出视为猫，将接近于1的输出视为狗。为了完成这个目标，在神经网络中引入激活函数，比如：sigmoid激活函数。关于这个激活函数，只需要知道它的返回值是一个介于0到1的数字。因此，激活函数用于将非线性引入神经网络，它会将神经网络运算结果缩小到较小的范围内。实际上，激活函数怎样表达并不重要，重要的是通过一些权值将一个非线性函数参数化，可以通过改变这些权值来改变这个非线性函数。
如图1所示，为神经网络结构示意图。在图1所示的神经网络中，包括三层，分别为输入层、隐含层以及输出层，图1所示的隐含层为5层。其中，神经网络的最左边一层被 称为输入层，输入层的神经元被称为输入神经元。输入层作为神经网络中的第一层，接受需要输入信号(值)并将它们传递到下一层。它一般不对输入信号(值)做操作，并且没有关联的权值和偏置。在图1所示的神经网络中，有4个输入信号x1，x2，x3，x4。
隐含层包含用于对输入数据应用不同变换的神经元(节点)。在图1所示的神经网络中，有5个隐含层。第一隐含层有4个神经元(节点)，第2层有5个神经元，第3层有6个神经元，第4层有4个神经元，第5层有3个神经元。最后，隐含层将神经元的运算值传递给输出层。图1所示的神经网络将5个隐含层中每个神经元之间进行完全连接，即每个隐含层的每一个神经元都与下一层的每一个神经元有连接。需要说明的是，并不是每个神经网络的隐含层是完全连接的。
图1神经网络的最右边一层被称为输出层，输出层的神经元被称为输出神经元。输出层接收来自最后一个隐含层的输出。在图1所示的神经网络中，输出层有3个神经元，有3个输出信号y1，y2，y3。
在实际应用中，预先给大量的样本数据(包含输入和输出)对初始神经网络进行训练，训练完成后，获得训练后的神经网络。该神经网络对于将来的真实环境的输入能给出一个正确的输出。
在开始讨论神经网络的训练之前，需要定义损失函数。损失函数是一个衡量神经网络在执行某个特定任务的表现函数。在有些实施例中，损失函数可以如此得到：在训练某神经网络过程中，对每一个样本数据，都沿着神经网络传递得到输出值，然后将这个输出值与期望值做差再求平方，这样计算出来的损失函数就是预测值与真实值之间的距离，而训练神经网络目的就是将这个距离或损失函数的取值减小。在某些实施例中，损失函数可以表示为：
Figure PCTCN2019106801-appb-000001
上式中，y代表期望值，
Figure PCTCN2019106801-appb-000002
指样本数据集合中每个样本数据通过神经网络得到的实际结果，i是样本数据集合中每个样本数据的索引。
Figure PCTCN2019106801-appb-000003
表示期望值y与实际结果
Figure PCTCN2019106801-appb-000004
之间的误差值。m为样本数据集合中样本数据的个数。还是以猫狗鉴别为例。有一个数据集，由猫和狗的图片组成，如果图片是狗，对应的标签是1，如果图片是猫，对应的标签是0。这个标签就是对应上述公式中的期望值y，在向神经网络传递每一张样本图片的时候，实际是想通过神经网络获得识别结果。为了计算损失函数，必须遍历样本数据集中的每一张样本图片，获得每一张样本图片对应的实际结果
Figure PCTCN2019106801-appb-000005
然后按照上面的定义计算损失函数。如果损失函数比较大，那么说明神经网络还没有训练好，需要对权值进一步调整。
在开始训练神经网络的时候，要对权值进行随机初始化。显然，初始化的神经网络并不会提供一个很好的结果。在训练的过程中，假设以一个很糟糕的神经网络开始，通过训练，可以得到一个具有高准确率的网络。
神经网络的训练过程分为两个阶段，第一阶段是信号的正向处理，从输入层经过隐含 层，最后到达输出层。第二阶段是反向传播梯度，从输出层到隐含层，最后到输入层，根据梯度依次调节神经网络中每层的权值和偏置。
在正向处理的过程中，将输入值输入到神经网络的输入层，并从神经网络的输出层得到所谓的预测值的输出。当输入值提供给神经网络的输入层时，它没有进行任何操作。在隐含层中，第二个隐含层从第一个隐含层获取预测中间结果值并进行计算操作和激活操作，然后将得到的预测中间结果值传递给下一个隐含层。在后面的层中执行相同的操作，最后在神经网络的输出层得到输出值。
正向处理后，得到一个被称为预测值的输出值。为了计算误差，将预测值与实际输出值进行比较，获得对应的误差值。反向传播使用微分学的链式法则，在链条法则中，首先计算对应神经网络的最后一层权值的误差值的导数。称这些导数为梯度，然后使用这些梯度来计算神经网络中的倒数第二层的梯度。重复此过程，直到得到神经网络中每个权值对应的梯度。最后，将神经网络中每个权值减去对应的梯度，从而对权值进行一次更新，以达到减少误差值的目的。
对于神经网络来说，微调是载入训练过的神经网络，微调过程与训练过程相同，分为两个阶段，第一阶段是信号的正向处理，第二阶段是反向传播梯度，对训练过的神经网络的权值进行更新。训练与微调的不同之处在于，训练是随机对初始化的神经网络进行处理，从头开始训练神经网络，而微调不是。
在神经网络进行训练或微调过程中，神经网络每经过一次信号的正向处理以及对应一次误差的反向传播过程，神经网络中的权值利用梯度进行一次更新，此时称为一次迭代(iteration)。为了获得精度符合预期的神经网络，在训练过程中需要很庞大的样本数据集。在这种情况下，一次性将样本数据集输入计算机是不可能的。因此，为了解决这个问题，需要把样本数据集分成多个块，每块传递给计算机，每块数据集正向处理后，对应更新一次神经网络的权值。当一个完整的样本数据集通过了神经网络一次正向处理并且对应返回了一次权值更新，这个过程称为一个周期(epoch)。实际中，在神经网络中传递一次完整的数据集是不够的，需要将完整的数据集在同一神经网络中传递多次，即需要多个周期，最终获得精度符合预期的神经网络。
在神经网络进行训练或微调过程中，一般希望速度越快越好，准确率越高越好。神经网络的数据通过高精度数据格式表示，比如:浮点数，所以在训练或微调过程中，涉及的数据均为高精度数据格式，然后再将训练好的神经网络进行量化。以量化对象是整个神经网络的权值、且量化后的权值均为8-bit定点数为例，由于一个神经网络中常常有数百万连接，几乎所有空间都被神经元连接的权值所占据。况且这些权值都是不同的浮点数。每层权值都趋向于某个确定区间的正态分布，例如(-3.0,3.0)。将神经网络中每层的权值对应的最大值和最小值保存下来，将每个浮点数值采用8-bit定点数表示。其中，在最大值、最小值范围内区间线性划分256个量化间隔，每个量化间隔用一个8-bit定点数表示。例如：在(-3.0,3.0)区间内，字节0表示-3.0，字节255表示3.0。以此类推，字节128表示0。
对于高精度数据格式表示的数据，以浮点数为例，根据计算机体系结构可知，基于浮 点数的运算表示法则、定点数的运算表示法则，对于同样长度的定点运算和浮点运算，浮点运算计算模式更为复杂，需要更多的逻辑器件来构成浮点运算器。这样从体积上来说，浮点运算器的体积比定点运算器的体积要大。并且，浮点运算器需要消耗更多的资源去处理，使得定点运算和浮点运算二者之间的功耗差距通常是数量级的。简言之，浮点运算器占用的芯片面积和功耗相比于定点运算器都要大很多倍。
但是，浮点运算又有其不可取代性。首先，定点运算虽然直观，但是固定的小数点位置决定了固定位数的整数部分和小数部分，不利于同时表达特别大的数或者特别小的数，可能出现溢出的情况。
此外，具体使用人工智能处理器芯片做训练或微调时，通常更倾向于浮点运算器，主要是因为在有监督学习的神经网络中，只有浮点运算才能记录和捕捉到训练时很小的增量。那么，如何在不增加人工智能处理器芯片面积和功耗的前提下，如何大幅提升芯片做训练的运算能力是目前急需解决的问题。
对于本领域的技术人员来说，使用低位宽表示的定点数进行训练，经实践反馈可知需要使用高于8-bit定点数来处理反向传播梯度，这使得使用低位宽表示的定点数实现训练的过程异常复杂。如何将定点运算器代替浮点运算器，达到定点运算的快速度，提升人工智能处理器芯片的峰值算力的同时满足运算所需的浮点运算的精度是本说明书解决的技术问题。
基于上述技术问题的描述，神经网络的一个特性是对输入噪声容忍度很高。如果考虑识别照片中物体，神经网络能忽略主要噪声，把注意力放在重要的相似性。该功能意味着神经网络可以把低精度计算作为一种噪声源，在容纳较少信息的数值格式下仍然能产生准确的预测结果。要做好低精度训练或微调，就要找到一个具有适普性的数据表示，既能改善数据的溢出情况，又能更好的表达目标区间范围内0附近的数据。因此，这个数据表示需要自适应性，能随着训练或微调的过程进行调整。
基于上述描述，如图2所示，为本披露提出的一种神经网络的量化参数确定方法流程图。利用图2所示的技术方案确定的量化参数用于对待量化数据进行数据表示，从而确认量化后的定点数。所述量化后的定点数用于进行神经网络的训练、微调或推理。所述方法包括：
步骤201)：统计待量化数据，确定每种待量化数据的统计结果；其中，所述待量化数据包括所述神经网络的神经元、权值、梯度、偏置中的至少一种数据。
正如前文所述，在训练或微调神经网络的过程中，神经网络每层包括四种数据，分别为神经元、权值、梯度和偏置。在推理过程中，神经网络每层包括三种数据，分别为神经元、权值和偏置。这些数据均以高精度数据格式表示，本说明书以浮点数作为高精度数据为例。需要明确的是，以浮点数为例仅仅是例举的部分情况，而不是穷举，本领域技术人员在理解本技术方案的精髓的情况下，可能会在本披露技术方案的基础上产生其它的变形或者变换，比如：高精度数据可以是表示范围大且表示的最小精度小的高数据位宽的定点数，采用本技术方案均可转为低数据位宽的定点数。但只要其实现的功能以及达到的技术 效果与本披露类似，那么均应当属于本披露的保护范围。
不管什么样的神经网络结构，在训练或微调神经网络的过程中，待量化数据包括神经网络的神经元、权值、梯度、偏置中的至少一种数据，在推理过程中，待量化数据包括神经网络的神经元、权值、偏置中的至少一种数据。以待量化数据是权值为例，待量化数据可以是神经网络中某一层的所有权值，也可以是神经网络中某一层的部分权值。如果该层是卷积层时，待量化数据也可以是该卷积层中以通道为单位的所有权值或者部分权值，该通道是该卷积层的所有通道或者部分通道。需要强调的是，只有卷积层有通道的概念，在卷积层中，仅有权值分层按照通道的方式进行量化。
下面以待量化数据是神经网络中目标层的神经元和权值这两种数据为例，并详细描述本技术方案。在本步骤中，对目标层中每层的神经元和权值分别进行统计，获得每种待量化数据的最大值、最小值，也可以获得每种待量化数据的绝对值最大值。其中，目标层作为神经网络中需要量化的层，可以是一层，也可以是多层。以一层为单位，每种待量化数据的绝对值最大值可以通过每种待量化数据中的最大值和最小值方式确认。也可以先将每种待量化数据求绝对值，遍历求绝对值后的结果，获得每种待量化数据的绝对值最大值。
在实际应用中，按照每种待量化数据中的最大值和最小值方式获取每种待量化数据的绝对值最大值的原因在于，量化时，常规情况下会将目标层中每层的待量化数据对应的最大值和最小值保存下来，无需消耗更多的资源去对待量化数据求绝对值，直接基于保存的待量化数据对应的最大值和最小值来获取绝对值最大值即可。
步骤202)：利用每种待量化数据的统计结果以及数据位宽确定对应量化参数；其中，所述量化参数用于人工智能处理器对神经网络运算过程中的数据进行对应量化。
在本步骤中，量化参数可以分以下六种情况。第一种情况：量化参数是点位置参数s。这种情况下，可以利用如下的公式(1)对待量化数据进行量化，得到量化数据I x：
Figure PCTCN2019106801-appb-000006
其中，s为点位置参数，I x为数据x量化后的n位二进制表示值，F x为数据x量化前的浮点值，round为进行四舍五入的取整运算。需要说明的是，此处不仅仅局限于round这一种取整运算，也可以采用其他的取整运算方法，例如：采用向上取整、向下取整、向零取整等取整运算，替换公式(1)中的round取整运算。此时，用n位定点数可以表示浮点数的最大值A为2 s(2 n-1-1)，那么n位定点数可以表示待量化数据的数域中最大值为2 s(2 n-1-1)，n位定点数可以表示待量化数据的数域中最小值为-2 s(2 n-1-1)。由式(1)可知，采用第一种情况对应的量化参数对待量化数据进行量化时，量化间隔为2 s，量化间隔记为C。
设Z为待量化数据的数域中所有浮点数的绝对值最大值，则A需要包含Z，且Z要大于
Figure PCTCN2019106801-appb-000007
因此有如下公式(2)约束：
2 s(2 n-1-1)≥Z＞2 s-1(2 n-1-1)         (2)
因此，
Figure PCTCN2019106801-appb-000008
得到
Figure PCTCN2019106801-appb-000009
Figure PCTCN2019106801-appb-000010
根据式(3)对数据x量化后的n位二进制表示值I x进行反量化，获得反量化数据
Figure PCTCN2019106801-appb-000011
其中，所述反量化数据
Figure PCTCN2019106801-appb-000012
的数据格式与对应的量化前的数据F x的数据格式相同，均为浮点值。
Figure PCTCN2019106801-appb-000013
第二种情况：量化参数是第一缩放系数f 1。这种情况下，可以利用如下的公式(4)对待量化数据进行量化，得到量化数据I x：
Figure PCTCN2019106801-appb-000014
其中，f 1为第一缩放系数，I x为数据x量化后的n位二进制表示值，F x为数据x量化前的浮点值，round为进行四舍五入的取整运算。需要说明的是，此处不仅仅局限于round这一种取整运算，也可以采用其他的取整运算方法，例如：采用向上取整、向下取整、向零取整等取整运算，替换公式(4)中的round取整运算。由式(4)可知，采用第二种情况对应的量化参数对待量化数据进行量化时，量化间隔为f 1，量化间隔记为C。
对于第一缩放系数f 1来说，有一种情况，即：点位置参数s为固定已知值，不再发生变化，设2 s＝T，T为固定值，那么，用n位定点数可以表示浮点数的最大值A为(2 n-1-1)×T。这种情况下，最大值A取决于数据位宽n。设Z为待量化数据的数域中所有数的绝对值最大值，则
Figure PCTCN2019106801-appb-000015
此时Z＝(2 n-1-1)×f 1。n位定点数可以表示待量化数据的数域中最大值为(2 n-1-1)×f 1，n位定点数可以表示待量化数据的数域中最小值为-(2 n-1-1)×f 1。还有一种情况，在工程应用中，2 s×f 2作为一个整体当做第一缩放系数f 1。此时，就可以当做不存在独立的点位置参数s。其中，f 2为第二缩放系数。设Z为待量化数据的数域中所有数的绝对值最大值，则
Figure PCTCN2019106801-appb-000016
此时Z＝(2 n-1-1)×f 1。n位定点数可以表示待量化数据的数域中最大值为(2 n-1-1)×f 1，n位定点数可以表示待量化数据的数域中最小值为-(2 n-1-1)×f 1。
根据式(5)对数据x量化后的n位二进制表示值I x进行反量化，获得反量化数据
Figure PCTCN2019106801-appb-000017
其中，所述反量化数据
Figure PCTCN2019106801-appb-000018
的数据格式与对应的量化前的数据F x的数据格式相同，均为浮点值。
Figure PCTCN2019106801-appb-000019
第三种情况：量化参数是点位置参数s和第二缩放系数f 2。这种情况下，可以利用如下的公式(6)对待量化数据进行量化，得到量化数据I x：
Figure PCTCN2019106801-appb-000020
其中，s为点位置参数，f 2为第二缩放系数，
Figure PCTCN2019106801-appb-000021
I x为数据x量化后的n位二进制表示值，F x为数据x量化前的浮点值，round为进行四舍五入的取整运算。需要说明的是，此处不仅仅局限于round这一种取整运算，也可以采用其他的取整运算方法，例如：采用向上取整、向下取整、向零取整等取整运算，替换公式(6)中的round取整运算。用n位定点数可以表示的待量化数据的数域中的最大值A为2 s(2 n-1-1)。由式(6)可知，采用第三种情况对应的量化参数对待量化数据进行量化时，量化间隔为2 s×f 2，量化间隔记为C。
设Z为待量化数据的数域中所有数的绝对值最大值，此时，根据公式(2)可得：
Figure PCTCN2019106801-appb-000022
即
Figure PCTCN2019106801-appb-000023
Figure PCTCN2019106801-appb-000024
时，根据公式(2)，Z可以无损精确表示。当f 2＝1时，公式(6)与公式(1)，
Figure PCTCN2019106801-appb-000025
n位定点数可以表示待量化数据的数域中最大值为(2 n-1-1)×2 s×f 2，n位定点数可以表示待量化数据的数域中最小值为-(2 n-1-1)×2 s×f 2。
根据式(7)对数据x量化后的n位二进制表示值I x进行反量化，获得反量化数据
Figure PCTCN2019106801-appb-000026
其中，所述反量化数据
Figure PCTCN2019106801-appb-000027
的数据格式与对应的量化前的数据F x的数据格式相同，均为浮点值。
Figure PCTCN2019106801-appb-000028
如图3所示，对称的定点数表示示意图。图3所示的待量化数据的数域是以“0”为对称中心分布。Z为待量化数据的数域中所有浮点数的绝对值最大值，在图3中，A为n位定点数可以表示的浮点数的最大值，浮点数A转换为定点数是2 n-1-1。为了避免溢出，A需要包含Z。实际中，神经网络运算过程中的浮点数据趋向于某个确定区间的正态分布， 但是并不一定满足以“0”为对称中心的分布，这时用定点数表示时，容易出现溢出情况。为了改善这一情况，量化参数中引入偏移量，如图4所示。在图4中，待量化数据的数域不是以“0”为对称中心分布，Z min是待量化数据的数域中所有浮点数的最小值，Z max是待量化数据的数域中所有浮点数的最大值。P为Z min～Z max之间的中心点，将待量化数据的数域整体偏移，使得平移后的待量化数据的数域以“0”为对称中心分布，平移后的待量化数据的数域中的绝对值最大值为Z。由图4可知，偏移量为“0”点到“P”点之间的水平距离，该距离称为偏移量O。其中，
Figure PCTCN2019106801-appb-000029
基于上述关于偏移量O的描述，出现第四种量化参数的情况。第四种情况：量化参数包括点位置参数和偏移量。这种情况下，可以利用如下的公式(8)对待量化数据进行量化，得到量化数据I x：
Figure PCTCN2019106801-appb-000030
其中，s为点位置参数，O为偏移量，
Figure PCTCN2019106801-appb-000031
I x为数据x量化后的n位二进制表示值，F x为数据x量化前的浮点值，round为进行四舍五入的取整运算。需要说明的是，此处不仅仅局限于round这一种取整运算，也可以采用其他的取整运算方法，例如：采用向上取整、向下取整、向零取整等取整运算，替换公式(8)中的round取整运算。此时，用n位定点数可以表示浮点数的最大值A为2 s(2 n-1-1)，那么n位定点数可以表示待量化数据的数域中最大值为2 s(2 n-1-1)+O，n位定点数可以表示待量化数据的数域中最小值为-2 s(2 n-1-1)+O。由式(8)可知，采用第四种情况对应的量化参数对待量化数据进行量化时，量化间隔为2 s，量化间隔记为C。
设Z为待量化数据的数域中所有浮点数的绝对值最大值，
Figure PCTCN2019106801-appb-000032
则A需要包含Z，且Z要大于
Figure PCTCN2019106801-appb-000033
根据公式(2)获得
Figure PCTCN2019106801-appb-000034
进而得到
Figure PCTCN2019106801-appb-000035
根据式(9)对数据x量化后的n位二进制表示值I x进行反量化，获得反量化数据
Figure PCTCN2019106801-appb-000036
其中，所述反量化数据
Figure PCTCN2019106801-appb-000037
的数据格式与对应的量化前的数据F x的数据格式相同，均为浮点值。
Figure PCTCN2019106801-appb-000038
基于上述关于偏移量O的描述，出现第五种量化参数的情况。第五种情况：量化参数包括第一缩放系数f 1和偏移量O。这种情况下，可以利用如下的公式(10)对待量化数据进行量化，得到量化数据I x：
Figure PCTCN2019106801-appb-000039
其中，f 1为第一缩放系数，O为偏移量，I x为数据x量化后的n位二进制表示值，F x为数据x量化前的浮点值，round为进行四舍五入的取整运算。需要说明的是，此处不仅仅局限于round这一种取整运算，也可以采用其他的取整运算方法，例如：采用向上取整、向下取整、向零取整等取整运算，替换公式(10)中的round取整运算。此时，有一种情况，即：点位置参数s为固定已知值，不再发生变化，设2 s＝T，T为固定值。那么，用n位定点数可以表示浮点数的最大值A为(2 n-1-1)×T。这种情况下，最大值A取决于数据位宽n。设Z为待量化数据的数域中所有数的绝对值最大值，则
Figure PCTCN2019106801-appb-000040
此时Z＝(2 n-1-1)×f 1。n位定点数可以表示待量化数据的数域中最大值为(2 n-1-1)×f 1，n位定点数可以表示待量化数据的数域中最小值为-(2 n-1-1)×f 1。还有一种情况，在工程应用中，2 s×f 2作为一个整体当作第一缩放系数f 1。此时，就可以当作不存在独立的点位置参数s。其中，f 2为第二缩放系数。设Z为待量化数据的数域中所有数的绝对值最大值，则
Figure PCTCN2019106801-appb-000041
此时Z＝(2 n-1-1)×f 1。n位定点数可以表示待量化数据的数域中最大值为(2 n-1-1)×f 1+O，n位定点数可以表示待量化数据的数域中最小值为-(2 n-1-1)×f 1+O。
由式(10)可知，采用第五种情况对应的量化参数对待量化数据进行量化时，量化间隔为f 1，量化间隔记为C。
根据式(11)对数据x量化后的n位二进制表示值I x进行反量化，获得反量化数据
Figure PCTCN2019106801-appb-000042
其中，所述反量化数据
Figure PCTCN2019106801-appb-000043
的数据格式与对应的量化前的数据F x的数据格式相同，均为浮点值。
Figure PCTCN2019106801-appb-000044
基于上述关于偏移量O的描述，出现第六种量化参数的情况。第六种情况：量化参数包括点位置参数、第二缩放系数f 2和偏移量O。这种情况下，可以利用如下的公式(12)对待量化数据进行量化，得到量化数据I x：
Figure PCTCN2019106801-appb-000045
其中，s为点位置参数，偏移量O，f 2为第二缩放系数，
Figure PCTCN2019106801-appb-000046
I x为数据x量化后的n位二进制表示值，F x为数据x量化前的浮点值，round为进行四舍五入的取整运算。需要说明的是，此处不仅仅局限于round这一种取整运算，也可以采用其他的取整运算方法，例如：采用向上取整、向下取整、向零取整等取整运算，替换公式(12)中的round取整运算。用n位定点数可以表示的待量化数据的数域中的最大值A为2 s(2 n-1-1)。由式(12)可知，采用第六种情况对应的量化参数对待量化数据进行量化时，量化间隔为2 s×f 2，量化间隔记为C。
设Z为待量化数据的数域中所有数的绝对值最大值，此时，根据公式(2)可得：
Figure PCTCN2019106801-appb-000047
即
Figure PCTCN2019106801-appb-000048
Figure PCTCN2019106801-appb-000049
时，根据公式(2)，Z可以无损精确表示。当f 2＝1时，
Figure PCTCN2019106801-appb-000050
n位定点数可以表示待量化数据的数域中最大值为(2 n-1-1)×2 s×f 2+O，n位定点数可以表示待量化数据的数域中最小值为-(2 n-1-1)×2 s×f 2+O。
根据式(13)对数据x量化后的n位二进制表示值I x进行反量化，获得反量化数据
Figure PCTCN2019106801-appb-000051
其中，所述反量化数据
Figure PCTCN2019106801-appb-000052
的数据格式与对应的量化前的数据F x的数据格式相同，均为浮点值。
Figure PCTCN2019106801-appb-000053
上述详细描述了6种量化参数的确定过程，仅仅是实施例说明。量化参数的种类在不同的实施例中可以与以上的描述不同。由公式(1)～公式(13)可知，点位置参数和缩放系数均与数据位宽有关。不同的数据位宽，导致点位置参数和缩放系数不同，从而影响量化精度。在训练或微调过程中，在一定的迭代(iterations)的次数范围内，使用相同的数据位宽量化对神经网络运算的总体精度影响不大。超过一定的迭代次数，再使用同一数据位宽量化就无法满足训练或微调对精度的要求。这就需要随着训练或微调的过程对数据位宽n进行调整。简单地，可以人为设置数据位宽n。在不同的迭代次数范围内，调用提前设置的对应的数据位宽n。但是，前文已经提到，使用低位宽表示的定点数实现训练的过程异常复杂。这种人为提前设置数据位宽的调整方式基本上是不符合实际应用的需求。
在本技术方案中，根据量化误差diff bit对数据位宽n进行调整。进一步详说，将量化误差diff bit与阈值进行比较，并获取比较结果。其中，阈值包括第一阈值和第二阈值，且 第一阈值大于第二阈值，比较结果有三种情况，第一种情况为：量化误差diff bit大于等于所述第一阈值，这种情况下，对所述数据位宽进行增加。第二种情况为：量化误差diff bit小于等于所述第二阈值，这种情况下，对所述数据位宽进行减少。第三种情况为：量化误差diff bit处于所述第一阈值和所述第二阈值之间，这种情况下，所述数据位宽保持不变。在实际应用中，第一阈值和第二阈值可以为经验值，也可以为可变的超参数。常规的超参数的优化方法均适于第一阈值和第二阈值，这里不再赘述超参数的优化方案。
需要强调的是，可以将数据位宽按照固定的位数步长进行调整，也可以根据量化误差与误差阈值之间的差值的不同，按照可变的调整步长调整数据位宽，最终根据神经网络运算过程的实际需要，将数据位宽调整的更长或更短。比如：当前卷积层的数据位宽n为16，根据量化误差diff bit将数据位宽n调整为12。也就是说，在实际应用中，数据位宽n取值为12而不必取值为16即可满足神经网络运算过程中对精度的需求，这样在精度允许范围内可以大大提到定点运算速度，从而提升了人工智能处理器芯片的资源利用率。
对于量化误差diff bit来说，根据量化后的数据与对应的量化前的数据确定量化误差。在实际应用中，有三种量化误差确定方式，均可适用于本技术方案。第一种方式：根据量化间隔、量化后的数据的个数以及对应的量化前的数据按照公式(14)确定量化误差。
Figure PCTCN2019106801-appb-000054
其中，C为量化时对应的量化间隔，m为量化后获得的量化数据的个数，F i为待量化对应的浮点值，其中，i为待量化数据集合中数据的下标。
第二种方式：根据量化后的数据以及对应的反量化数据按照公式(15)确定量化误差diff bit。
Figure PCTCN2019106801-appb-000055
其中，F i为待量化对应的浮点值，其中，i为待量化数据集合中数据的下标。
Figure PCTCN2019106801-appb-000056
为浮点值对应的反量化数据。
第三种方式：根据量化后的数据以及对应的反量化数据按照公式(16)确定量化误差diff bit。
Figure PCTCN2019106801-appb-000057
其中，F i为待量化对应的浮点值，其中，i为待量化数据集合中数据的下标。
Figure PCTCN2019106801-appb-000058
为浮点值对应的反量化数据。
需要强调的是，上述获取量化误差diff bit的方式仅仅是例举的部分情况，而不是穷举， 本领域技术人员在理解本披露技术方案的精髓的情况下，可能会在本披露技术方案的基础上产生其它的变形或者变换，凡是支持根据量化后的数据与对应的量化前的数据确定量化误差的变形公式，但只要其实现的功能以及达到的技术效果与本披露类似，那么均应当属于本披露的保护范围。
对于数据位宽来说，图5a为训练过程中神经网络的权值数据变动幅度曲线图之一。图5b为训练过程中神经网络的权值数据变动幅度曲线图之二。在图5a和图5b中，横坐标表示是迭代数，纵坐标表示是权值取对数后的最大值。图5a所示的权值数据变动幅度曲线展示神经网络的任一卷积层同一周期(epoch)内在不同迭代对应的权值数据变动情况。在图5b中，conv0层对应权值数据变动幅度曲线A，conv1层对应权值数据变动幅度曲线B，conv2层对应权值数据变动幅度曲线C，conv3层对应权值数据变动幅度曲线D，conv4层对应权值数据变动幅度曲线e。由图5a和图5b可知，同一个周期(epoch)内，在训练初期，每次迭代权值变化幅度比较大。在训练中后期，每次迭代权值的变化幅度不会太大。此种情况下，在训练中后期，因为每次迭代前后权值数据变化幅度不大，使得每代的对应层的权值数据之间在一定的迭代间隔内具有相似性，在神经网络训练过程中每层涉及的数据量化时可以采用上一次迭代时对应层量化时使用的数据位宽。但是，在训练初期，由于每次迭代前后权值数据的变化幅度比较大，为了满足量化所需的浮点运算的精度，在训练初期的每一次迭代，利用上一次迭代对应层量化时采用的数据位宽对当前代的对应层的权值数据进行量化，或者基于当前层预设的数据位宽n对当前层的权值数据进行量化，获得量化后的定点数。根据量化后的权值数据和对应的量化前的权值数据，确定量化误差diff bit，根据量化误差diff bit与阈值的比较结果，对上一次迭代对应层量化时采用的数据位宽n或者当前层预设的数据位宽n进行调整，将调整后的数据位宽应用于当前次迭代的对应层的权值数据的量化。进一步地，在训练或微调过程中，神经网络的每层之间的权值数据相互独立，不具备相似性。因权值数据不具备相似性使得每层之间的神经元数据也相互独立，不具备相似性。因此，在神经网络训练或微调过程中，神经网络的每一次迭代内的每层的数据位宽只适用用于对应的神经网络层。
上述以权值数据为例，在神经网络训练或微调过程中，神经元数据和梯度数据分别对应的数据位宽亦如此，此处不再赘述。
在神经网络推理过程中，神经网络的每层之间的权值数据相互独立，不具备相似性。因权值数据不具备相似性使得每层之间的神经元数据也相互独立，不具备相似性。因此，在神经网络推理过程中，神经网络的每层的数据位宽应用于对应层。在实际应用中，推理过程中每次的输入神经元数据很有可能不相同或者不相似，并且，由于神经网络的每层之间的权值数据相互独立，那么神经网络隐含层中的每层的输入神经元数据就不相似。量化时，上一层的输入神经元数据使用的数据位宽就不适于应用于当前层的输入神经元数据。基于此，为了满足量化所需的浮点运算的精度，在推理时，利用上一层的输入神经元数据量化时采用的数据位宽对当前层的输入神经元数据进行量化，或者基于当前层预设的数据位宽n对当前层的输入神经元数据进行量化，获得量化后的定点数。根据量化前的输入神 经元数据和对应的量化后的输入神经元数据，确定量化误差diff bit，根据量化误差diff bit与阈值的比较结果，对上一层的输入神经元数据量化时采用的数据位宽n或者当前层预设的数据位宽n进行调整，将调整后的数据位宽应用于当前层的输入神经元数据的量化。权值数据对应的数据位宽亦如此，此处不再赘述。
对于量化参数来说，由图5a可知，同一个周期(epoch)内，在训练初期，每次迭代权值变化幅度比较大。在训练中后期，由于每一次迭代前后权值数据变化幅度不大，使得每次迭代的对应层的权值数据之间在一定的迭代间隔内具有相似性，这样量化时当前次迭代的每层的数据可以延用上一次迭代的对应层的对应数据的量化参数，在训练的中后期不用代代都重新确认量化参数，仅仅在训练初期的每次迭代的每层确认量化参数，这样仍然能够满足神经网络运算所需的浮点运算的精度，大大提高了量化时的效率。进一步地，在训练或微调过程中，神经网络的每层之间的权值数据相互独立，不具备相似性。因权值数据不具备相似性使得每层之间的神经元数据也相互独立，不具备相似性。因此，在神经网络训练或微调过程中，神经网络的每一次迭代内的每层的量化参数应用于对应层的对应待量化数据。
上述以权值数据为例，在神经网络训练或微调过程中，神经元数据和梯度数据分别对应的量化参数亦如此，此处不再赘述。
在神经网络推理过程中，神经网络的每层之间的权值数据相互独立，不具备相似性。因权值数据不具备相似性使得每层之间的神经元数据也相互独立，不具备相似性。因此，在神经网络推理过程中，神经网络的每层的量化参数应用于对应层的待量化数据。比如：神经网络的当前层为卷积层，根据卷积层的待量化数据按照图2所示的技术方案获得了当前卷积层的待量化数据的量化参数，该量化参数只能应用于当前的卷积层，而不能应用于该神经网络的其他层，即使其它层为卷积层也不适用。
综上所述，数据位宽和量化参数的延用策略基于数据之间的相似性来确定，如果数据之间具有相似性，则数据位宽和量化参数可以延用，如果数据之间不具有相似性，则需要对数据位宽或量化参数进行调整。数据之间的相似性的度量通常采用KL散度来衡量，也可以采用下式(17)来衡量。
abs max(A)≈abs max(B)且mean(A)≈mean(B)       (17)
在某些实施例中，如果数据A和数据B满足式(17)，则判断数据A和数据B之间具有相似性。
需要说明的是，关于上述描述的量化误差的确认方法、数据位宽的调整方法、数据位宽和量化参数的延用策略均仅仅是例举的部分情况，而不是穷举，比如：上述的量化误差的确认方法、数据位宽的调整方法、数据位宽和量化参数的延用策略均适用于神经网络的微调过程。还有，关于数据之间的相似性的度量，上述列举了KL散度以及公式(17)对相似性的度量方法，仅仅是例举的部分情况，而不是穷举，比如：直方图匹配法、矩阵分解法、基于特征点的图像相似度计算法、邻近度度量标准法等等。本领域技术人员在理解本披露技术方案的精髓的情况下，可能会在本披露技术方案的基础上产生其它的变形或者 变换，但只要其实现的功能以及达到的技术效果与本披露类似，那么均应当属于本披露的保护范围。
综上所述，在训练中后期，因为每次迭代前后权值数据变化幅度不大，使得每次迭代的对应层的权值数据之间在一定的迭代间隔内具有相似性，为了使得本技术方案在训练或微调中具有更好的适普性，满足人工智能处理器芯片的资源达到合理的应用，需要一种策略确定迭代间隔，使得在该迭代间隔范围内，每一次迭代的对应层的数据位宽n保持不变，超过该迭代间隔，数据位宽n就要发生变化，就无需代代确定是否对数据位宽n进行调整。同理，量化参数亦如此，从而达到提升人工智能处理器芯片的峰值算力的同时满足量化所需的浮点运算的精度。
如图6所示，为确定目标迭代间隔的方法流程图之一。在图6所示的技术方案中，目标迭代间隔包括至少一次权值更新迭代，且同一目标迭代间隔内量化过程中采用相同的所述数据位宽。所述目标迭代间隔的确定步骤包括：
步骤601)：在预判时间点，确定权值迭代过程中所述待量化数据对应点位置参数的变化趋势值；其中，所述预判时间点是用于判断是否需要对所述数据位宽进行调整的时间点，所述预判时间点对应权值更新迭代完成时的时间点。
在本步骤中，按照公式(18)，所述点位置参数的变化趋势值根据当前预判时间点对应的权值迭代过程中的点位置参数的滑动平均值、上一预判时间点对应的权值迭代过程中的点位置参数的滑动平均值确定，或者根据当前预判时间点对应的权值迭代过程中的点位置参数、上一预判时间点对应的权值迭代过程中的点位置参数的滑动平均值确定。式18的表达式为：
diff update1＝|M (t)-M (t-1)|＝α|s (t)-M (t-1)|      (18)
公式18中，M为点位置参数s随着训练迭代增加的滑动平均值。其中，M (t)为第t个预判时间点对应的点位置参数s随着训练迭代增加的滑动平均值，根据公式(19)获得M (t)。s (t)为第t个预判时间点对应的点位置参数s。M (t-1)为第t-1个预判时间点对应的点位置参数s的滑动平均值，α为超参数。diff update1衡量点位置参数s变化趋势，由于点位置参数s的变化也变相体现在当前待量化数据中数据最大值Z max的变化情况。diff update1越大，说明数值范围变化剧烈，需要间隔更短的更新频率，即目标迭代间隔更小。
M (t)←α×s (t-1)+(1-α)×M (t-1)        (19)
步骤602)：根据所述点位置参数的变化趋势值确定对应所述目标迭代间隔。
在本技术方案中，根据式(20)确定目标迭代间隔。对于目标迭代间隔来说，同一目标迭代间隔内量化过程中采用相同的所述数据位宽，不同目标迭代间隔内量化过程中采用的数据位宽可以相同，也可以不同。
Figure PCTCN2019106801-appb-000059
式(20)中，I为目标迭代间隔。diff update1为点位置参数的变化趋势值。β、γ为经验值，也可以为可变的超参数。常规的超参数的优化方法均适于β、γ，这里不再赘述超参数的优化方案。
对于本技术方案来说，预判时间点包括第一预判时间点，根据目标迭代间隔确定第一预判时间点。具体地，在训练或微调过程中的第t个预判时间点，利用上一次迭代对应层量化时采用的数据位宽对当前次迭代的对应层的权值数据进行量化，获得量化后的定点数，根据量化前的权值数据和对应的量化前的权值数据，确定量化误差diff bit。将量化误差diff bit分别与第一阈值和第二阈值进行比较，利用比较结果确定是否对上一次迭代对应层量化时采用的数据位宽进行调整。假如：第t个第一预判时间点对应第100次迭代，第99次迭代使用的数据位宽为n 1。在第100次迭代，根据数据位宽n 1确认量化误差diff bit，将量化误差diff bit与第一阈值、第二阈值进行比较，获得比较结果。如果根据比较结果确认数据位宽n 1无需改变，利用式(20)确认目标迭代间隔为8次迭代，当第100次迭代作为当前目标迭代间隔内的起始迭代，那么第100次迭代～第107次迭代作为当前目标迭代间隔，当第100次迭代作为上一目标迭代间隔的最末迭代，那么第101次迭代～第108次迭代作为当前目标迭代间隔。在当前目标迭代间隔内量化时每代仍然延用上一个目标迭代间隔所使用的数据位宽n 1。这种情况，不同的目标迭代间隔之间量化时所使用的数据位宽可以相同。如果以第100次迭代～第107次迭代作为当前的目标迭代间隔，那么下一个目标迭代间隔内的第108次迭代作为第t+1个第一预判时间点，如果第101次迭代～第108次迭代作为当前的目标迭代间隔，那么当前的目标迭代间隔内的第108次迭代作为第t+1个第一预判时间点。在第t+1个第一预判时间点，根据数据位宽n 1确认量化误差diff bit，将量化误差diff bit与第一阈值、第二阈值进行比较，获得比较结果。根据比较结果确定数据位宽n 1需要更改为n 2，并利用公式(20)确认目标迭代间隔为55次迭代。那么第108次迭代～第163次迭代或者第109次迭代～第163次迭代作为目标迭代间隔，在该目标迭代间隔内量化时每代使用数据位宽n 2。这种情况下，不同的目标迭代间隔之间量化时所使用的数据位宽可以不同。
对于本技术方案来说，不管第一预判时间点是目标迭代间隔内的起始迭代还是最末迭代，均适于公式(18)来获得点位置参数的变化趋势值。如果当前时刻的第一预判时间点为当前目标迭代间隔的起始迭代，那么在公式(18)中，M (t)为当前目标迭代间隔的起始迭代对应时间点所对应的点位置参数s随着训练迭代增加的滑动平均值，s (t)为当前目标迭代间隔的起始迭代对应时间点所对应的点位置参数s，M (t-1)为上一目标迭代间隔的起始迭代对应时间点所对应的点位置参数s随着训练迭代增加的滑动平均值。如果当前时刻的第一预判时间点为当前目标迭代间隔的最末迭代，那么在公式(18)中，M (t)为当前目标迭代间隔的最末迭代对应时间点所对应的点位置参数s随着训练迭代增加的滑动平均值，s (t)为当前目标迭代间隔的最末迭代对应时间点所对应的点位置参数s，M (t-1)为上一目标 迭代间隔的最末迭代对应时间点所对应的点位置参数s随着训练迭代增加的滑动平均值。
对于本技术方案来说，在包括第一预判时间点的基础上，预判时间点还可以包括第二预判时间点。第二预判时间点是根据数据变动幅度曲线确定的。基于大数据在神经网络训练过程中数据变动幅度情况，获得如图5a所示的所述数据变动幅度曲线。
以权值数据为例，由图5a所示的数据变动幅度曲线可知，从训练开始到第T次迭代的迭代间隔周期内，每次权值更新时，数据变动幅度非常大。在当前预判时间点，量化时，当前次迭代先利用上一次迭代的数据位宽n 1进行量化，获得的量化结果与对应的量化前的数据确定对应的量化误差，量化误差分别与第一阈值、第二阈值进行比较，根据比较结果对数据位宽n 1进行调整，获得数据位宽n 2。利用数据位宽n 2对当前次迭代涉及的待量化权值数据进行量化。然后根据式(20)确定目标迭代间隔，从而确定第一预判时间点，在第一预判时间点再判断是否调整数据位宽以及如何调整，并根据公式(20)确定下一目标迭代间隔来获得下一个第一预判时间点。由于训练开始到第T次迭代的迭代间隔周期内，每一次迭代前后权值数据变化幅度非常大，使得每次迭代的对应层的权值数据之间不具有相似性，为了满足精度问题，量化时当前次迭代的每层的数据不能延用上一次迭代的对应层的对应量化参数，在前T次迭代可以代代调整数据位宽，此时，量化时前T次迭代中每次迭代使用的数据位宽均不同，目标迭代间隔为1次迭代。为了人工智能处理器芯片的资源达到最优化利用，前T次迭代的目标迭代间隔可以根据图5a所示的数据变动幅度曲线图所揭示的规律提前预设好，即：根据数据变动幅度曲线前T次迭代的目标迭代间隔直接预设，无需经过公式(20)确认前T次迭代的每次迭代对应的权值更新迭代完成时的时间点作为第二预判时间点。从而使得人工智能处理器芯片的资源更为合理的利用。图5a所示的数据变动幅度曲线从第T次迭代开始变动幅度不大，在训练的中后期不用代代都重新确认量化参数，在第T次迭代或者第T+1次迭代，利用当前次迭代对应量化前的数据以及量化后的数据确定量化误差，根据量化误差确定对数据位宽是否需要调整以及如何调整，还要根据公式(20)确定目标迭代间隔。如果确认的目标迭代间隔为55次迭代，这就要求从第T次迭代或第T+1次迭代之后隔55次迭代对应的时间点作为第一预判时间点再判断是否调整数据位宽以及如何调整，并根据公式(20)确定下一目标迭代间隔，从而确定下一个第一预判时间点，直至同一周期(epoch)内所有代运算完成。在此基础上，在每个周期(epoch)之后，再对数据位宽或量化参数做适应性调整，最终使用量化后的数据获得精度符合预期的神经网络。
特别地，假如：根据图5a所示的权值数据变动幅度曲线图确定T取值为130(这个数值与图5a不对应，为方便描述，仅仅是假设T取值为130，不限于在假设值。)，那么训练过程中的第130次迭代作为第二预判时间点，当前的第一预判时间点为训练过程中的第100次迭代，在第100次迭代，经公式(20)确定目标迭代间隔为35次迭代。在该目标迭代间隔内，训练至第130次迭代，到达第二预判时间点，此时就要在第130次迭代对应的时间点确定对数据位宽是否需要调整以及如何调整，还要根据公式(20)确定目标迭代间隔。假如该情况下确定的目标迭代间隔为42次迭代。就要从第130次迭代起至第 172次迭代作为目标迭代间隔，目标迭代间隔为35次迭代时确定的第一预判时间点对应的第135次迭代处于目标迭代间隔为42次迭代内，在第135次迭代，可以再根据公式(20)判断是否需要调整数据位宽以及如何调整。也可以不在第135次迭代做评估预判，直接到第172次迭代再执行是否需要调整数据位宽的评估以及如何调整。总之，是否在第135次迭代进行评估和预判均适于本技术方案。
综上，根据数据变动幅度曲线提前预设第二预判时间点，在训练或微调的初期，无需花费人工智能处理器芯片的资源来确定目标迭代间隔，在预设好的第二预判时间点上直接根据量化误差来调整数据位宽，并利用调整好的数据位宽来量化当前次迭代涉及的待量化数据。在训练或微调的中后期，根据公式(20)获得目标迭代间隔，从而确定对应的第一预判时间点，在每个第一预判时间点上确定是否调整数据位宽以及如何调整。这样在能够满足神经网络运算所需的浮点运算的精度的同时合理利用人工智能处理器芯片的资源，大大提高了量化时的效率。
在实际中，为了获得更准确的数据位宽的目标迭代间隔，不仅仅根据点位置参数的变化趋势值diff update1，可以同时考虑点位置参数的变化趋势值diff update1和数据位宽的变化趋势值diff update2。如图7所示，为确定目标迭代间隔的方法流程图之二。所述目标迭代间隔的确定步骤包括：
步骤701)：在预判时间点，确定权值迭代过程中所述待量化数据对应点位置参数的变化趋势值、数据位宽的变化趋势值；其中，所述预判时间点是用于判断是否需要对所述数据位宽进行调整的时间点，所述预判时间点对应权值更新迭代完成时的时间点。
需要强调的是，图6所示的关于基于点位置参数的变化趋势值确定数据位宽的目标迭代间隔的技术方案内容适用于图7所示的技术方案，这里不再赘述。
在本步骤中，根据式(21)来利用对应所述量化误差确定所述数据位宽的变化趋势值。
Figure PCTCN2019106801-appb-000060
公式(21)中，δ为超参数，diff bit为量化误差；diff update2为数据位宽的变化趋势值。diff update2衡量量化时采用的数据位宽n的变化趋势，diff update2越大越有可能需要更新定点的位宽，需要间隔更短的更新频率。
对于图7中涉及的点位置参数的变化趋势值仍然可根据公式(18)获得，对于公式(18)中的M (t)根据公式(19)获得。diff update1衡量点位置参数s变化趋势，由于点位置参数s的变化也变相体现在当前待量化数据中数据最大值Z max的变化情况。diff update1越大，说明数值范围变化剧烈，需要间隔更短的更新频率，即目标迭代间隔更小。
步骤702)：根据所述点位置参数的变化趋势值和所述数据位宽的变化趋势值确定对应所述目标迭代间隔。
在本技术方案中，根据公式(22)确定目标迭代间隔。对于目标迭代间隔来说，同一目标迭代间隔内量化过程中采用相同的所述数据位宽，不同目标迭代间隔内量化过程中采 用的数据位宽可以相同，也可以不同。
Figure PCTCN2019106801-appb-000061
公式(22)中，I为目标迭代间隔。β、γ为超参数。diff update1为点位置参数的变化趋势值。diff update2为数据位宽的变化趋势值。β、γ为经验值，也可以为可变的超参数。常规的超参数的优化方法均适于β、γ，这里不再赘述超参数的优化方案。
对于本技术方案来说，diff update1是用来衡量点位置参数s的变化情况，但是由数据位宽n的变化而导致的点位置参数s的变化是要忽略掉的。因为这已经在diff update2中体现过了数据位宽n的变化。如果在diff update1中不做这个忽略的操作，那么根据公式(22)确定的目标迭代间隔I是不准确的，造成第一预判时间点过多，在训练或微调过程中，易频繁的做数据位宽n是否更新以及如何更新的操作，从而造成人工智能处理器芯片的资源没有合理利用。
基于上述描述，diff update1根据M (t)确定。假设第t-1个预判时间点对应的数据位宽为n 1，对应的点位置参数为s 1，点位置参数随着训练迭代增加的滑动平均值为m 1。利用数据位宽n 1对待量化数据进行量化，获得量化后的定点数。根据量化前的数据和对应的量化后的数据，确定量化误差diff bit，根据量化误差diff bit与阈值的比较结果，将数据位宽n 1调整为n 2，数据位宽调整了|n 1-n 2|位，第t个预判时间点量化时使用的数据位宽为n 2。为了忽略由数据位宽的变化而导致的点位置参数的变化，在确定M (t)时可以选出下述两种优化方式中的其中一种即可。第一种方式：如果数据位宽增加了|n 1-n 2|位，则s (t-1)取值为s 1-|n 1-n 2|，M (t-1)取值为m 1-|n 1-n 2|，将s (t-1)、M (t-1)代入公式(19)中，获得M (t)，即为第t个预判时间点对应的点位置参数随着训练迭代增加的滑动平均值。如果数据位宽减少了|n 1-n 2|位，则s (t-1)取值为s 1+|n 1-n 2|，M (t-1)取值为m 1+|n 1-n 2|，将s (t-1)、M (t-1)代入公式(19)中，获得M (t)，即为第t个预判时间点对应的点位置参数随着训练迭代增加的滑动平均值。第二种方式：不管数据位宽是增加了|n 1-n 2|位还是减少了|n 1-n 2|，s (t-1)取值为s 1，M (t-1)取值为m 1，将s (t-1)、M (t-1)代入公式(19)中，获得M (t)。在数据位宽增加|n 1-n 2|位时，将M (t)减去|n 1-n 2|，在数据位宽减少|n 1-n 2|位时，将M (t)加上|n 1-n 2|，结果作为第t个预判时间点对应的点位置参数随着训练迭代增加的滑动平均值。这两种方式是等价的，均可以忽略由数据位宽的变化而导致的点位置参数的变化，获得更为精准的目标迭代间隔，从而提高人工智能处理器芯片的资源利用率。
在实际应用中，数据位宽n和点位置参数s对量化精度影响很大，量化参数中的第二缩放系数f 2以及偏移量O对量化精度影响不大。对于第一缩放系数f 1来说，上文已经提及，如果属于第二种情况，将2 s×f 2作为一个整体当做第一缩放系数f 1，由于点位置参数s对量化精度影响很大，那么此种情况下的第一缩放系数f 1对量化影响很大。所以，在本技术方案中，不管数据位宽n是否发生变化、点位置参数s可变的情况下，确定点位置参数s的目标迭代间隔也是一件非常有意义的事情，图6所示的技术方案的思想可应用于确定点位置参数s的目标迭代间隔。因此，确定点位置参数s的目标迭代间隔的方法如图8A所示。包括：
步骤801)：在预判时间点，确定权值迭代过程中涉及的待量化数据对应点位置参数的变化趋势值；其中，所述预判时间点是用于判断是否需要对所述量化参数进行调整的时间点，所述预判时间点对应权值更新迭代完成时的时间点。
步骤802)：根据所述点位置参数的变化趋势值确定对应所述目标迭代间隔。
需要强调的是，图6所示的关于基于点位置参数的变化趋势值确定量化参数的目标迭代间隔的技术方案内容适用于图8A所示的技术方案，这里不再赘述。对于图8A所示的技术方案来说，量化参数优选为点位置参数。
需要说明的是，关于上述确定数据位宽的目标迭代间隔和量化参数的目标迭代间隔均仅仅是例举的部分情况，而不是穷举，本领域技术人员在理解本披露技术方案的精髓的情况下，可能会在本披露技术方案的基础上产生其它的变形或者变换，比如：在确定数据位宽的目标迭代间隔内再确定量化参数的目标迭代间隔也适用于图6、图7和图8A所示的技术方案。但只要其实现的功能以及达到的技术效果与本披露类似，那么均应当属于本披露的保护范围。
利用本技术方案确定量化参数，根据量化误差对数据位宽或量化参数进行调整，并确定了对数据位宽或量化参数是否调整的目标迭代间隔，达到神经网络运算过程中在适合的时间点对数据位宽或量化参数进行调整，使得在合适的迭代时间点使用合适的量化参数，实现人工智能处理器芯片执行神经网络运算达到定点运算的速度，提升了人工智能处理器芯片的峰值算力的同时满足运算所需的浮点运算的精度。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本披露并不受所描述的动作顺序的限制，因为依据本披露，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于可选实施例，所涉及的动作和模块并不一定是本披露所必须的。
将会理解，在此的量化参数可以是预先设置的量化参数(即，离线量化参数)，也可以是根据对待量化数据的处理而获得的量化参数(即，在线量化参数)。在神经网络的推理、训练和微调过程中，可以对目标数据进行离线量化或在线量化。其中，离线量化可以为利用量化参数对待量化数据进行离线处理。在线量化可以为利用量化参数对待量化数据 进行在线处理。例如，神经网络运行在人工智能芯片上，可以将待量化数据和量化参数发送至人工智能芯片之外的运算装置进行离线量化，或利用人工智能芯片之外的运算装置对预先得到的待量化数据和量化参数进行离线量化。而在人工智能芯片运行神经网络的过程中，人工智能芯片可以对待量化数据利用量化参数进行在线量化。在神经网络中包括多个待量化层时，各待量化层可以分别进行在线量化和离线量化。本披露中对各待量化层的量化过程为在线或离线不作限定。
根据本披露的实施例，提供了用于调整数据位宽的方法。在下文中，将参见图8B至图8V进行描述。图8B示出本披露一实施例中数据位宽调整方法800B的流程图。该方法可以包括：
S114、根据所述当前检验迭代的待量化数据和所述当前检验迭代的量化数据，确定量化误差，其中，所述当前检验迭代的量化数据是通过对所述当前检验迭代的待量化数据进行量化获得。
可选地，上述处理器可以采用初始数据位宽对待量化数据进行量化，获得上述的量化数据。该当前检验迭代的初始数据位宽可以是超参数，该当前检验迭代的初始数据位宽也可以是根据该当前检验迭代之前的上一检验迭代的待量化数据确定的。
具体地，处理器可以根据当前检验迭代的待量化数据和当前检验迭代的量化数据，确定中间表示数据。可选地，所述中间表示数据与上述的待量化数据的表示格式一致。例如，处理器可以对上述的量化数据进行反量化，获得与待量化数据的表示格式一致的中间表示数据，其中，反量化是指量化的逆过程。例如，该量化数据可以采用式23获得，处理器还可以按照式24对量化数据进行反量化，获得相应的中间表示数据，并根据待量化数据和中间表示数据确定量化误差。
Figure PCTCN2019106801-appb-000062
Figure PCTCN2019106801-appb-000063
进一步地，处理器可以根据待量化数据及其对应的中间表示数据计算获得量化误差。设当前检验迭代的待量化数据为F x＝[z 1,z 2…,z m]，该待量化数据对应的中间表示数据为F x1＝[z 1 (n),z 2 (n)…,z m (n)]。处理器可以根据该待量化数据F x及其对应的中间表示数据F x1确定误差项，并根据该误差项确定量化误差。
可选地，处理器可以根据中间表示数据F x1中各元素的和，以及待量化数据F x中各元素的和确定上述的误差项，该误差项可以是中间表示数据F x1中各元素的和与待量化数据F x中各元素的和的差值。之后，处理器可以根据该误差项确定量化误差。具体的量化误差可以按照如下公式进行确定：
Figure PCTCN2019106801-appb-000064
其中，z i为待量化数据中的元素，z i (n)为中间表示数据F x1的元素。
可选地，处理器可以分别计算待量化数据中各元素与中间表示数据F x1中相应元素的差值，获得m个差值，并将该m个差值的和作为误差项。之后，处理器可以根据该误差项 确定量化误差。具体的量化误差可以按照如下公式确定：
Figure PCTCN2019106801-appb-000065
其中，z i为待量化数据中的元素，z i (n)为中间表示数据F x1的元素。
可选地，上述待量化数据中各元素与中间表示数据F x1中相应元素的差值可以约等于2 s-1，因此，上述量化误差还可以按照如下公式确定：
Figure PCTCN2019106801-appb-000066
其中，m为目标数据对应的中间表示数据F x1的数量，s为点位置，z i为待量化数据中的元素。
可选地，所述中间表示数据也可以与上述的量化数据的数据表示格式一致，并根据该中间表示数据和量化数据确定量化误差。例如，待量化数据可以表示为：F x≈I x×2 s，则可以确定出中间表示数据
Figure PCTCN2019106801-appb-000067
该中间表示数据I x1可以与上述的量化数据具有相同的数据表示格式。此时处理器可以根据中间表示数据I x1和上述公式(23)计算获得的
Figure PCTCN2019106801-appb-000068
确定量化误差。具体的量化误差确定方式可参照上述的公式(25)～公式(27)。
S115、根据所述量化误差，确定所述当前检验迭代对应的目标数据位宽。
具体地，处理器可以根据该量化误差，自适应地调整当前检验迭代对应的数据位宽，确定该当前检验迭代调整后的目标数据位宽。当该量化误差满足预设条件时，则可以保持当前检验迭代对应的数据位宽不变，即该当前检验迭代的目标数据位宽可以等于初始数据位宽。当量化误差不满足预设条件时，处理器可以调整当前检验迭代的待量化数据对应的数据位宽，获得当前检验迭代对应的目标数据位宽。当处理器采用该目标数据位宽对当前检验迭代的待量化数据进行量化时，量化误差满足上述的预设条件。可选地，上述的预设条件可以是用户设置的预设阈值。
可选地，图8C示出本披露另一实施例中数据位宽调整方法800C的流程图。如图8C所示，上述操作S115可以包括：
S1150、处理器可以判断上述的量化误差是否大于或等于第一预设阈值。
若所述量化误差大于或等于第一预设阈值，则可以执行操作S1151，增大所述当前检验迭代对应的数据位宽，获得当前检验迭代的目标数据位宽。当量化误差小于第一预设阈值时，则可以保持当前检验迭代的数据位宽不变。
进一步可选地，处理器可以经过一次调整获得上述的目标数据位宽。例如，当前检验迭代的初始数据位宽为n1，处理器可以经一次调整确定该目标数据位宽n2＝n1+t，其中，t为数据位宽的调整值。其中，采用该目标数据位宽n2对当前检验迭代的待量化数据进行量化时，获得的量化误差可以小于所述第一预设阈值。
进一步可选地，处理器可以经过多次调整获得目标数据位宽，直至量化误差小于第一预设阈值，并将该量化误差小于第一预设阈值时的数据位宽作为目标数据位宽。具体地，若所述量化误差大于或等于第一预设阈值，则根据第一预设位宽步长确定第一中间数据位 宽；之后处理器可以根据该第一中间数据位宽对当前检验迭代的待量化数据进行量化，获得量化数据，并根据所述当前检验迭代中待量化数据和所述当前检验迭代的量化数据，确定量化误差，直至所述量化误差小于所述第一预设阈值。处理器可以将该量化误差小于第一预设阈值时对应的数据位宽，作为该目标数据位宽。
例如，当前检验迭代的初始数据位宽为n1，处理器可以采用该初始数据位宽n1对当前检验迭代的待量化数据A进行量化，获得量化数据B1，并根据该待量化数据A和量化数据B1计算获得量化误差C1。在量化误差C1大于或等于第一预设阈值时，处理器确定第一中间数据位宽n2＝n1+t1，其中，t1为第一预设位宽步长。之后，处理器可以根据该第一中间数据位宽n2对当前检验迭代的待量化数据进行量化，获得当前检验迭代的量化数据B2，并根据该待量化数据A和量化数据B2计算获得量化误差C2。若该量化误差C2大于或等于第一预设阈值时，处理器确定第一中间数据位宽n2＝n1+t1+t1，之后根据该新的第一中间数据位宽对当前检验迭代的待量化数据A进行量化，并计算相应的量化误差，直至量化误差小于第一预设阈值。若量化误差C1小于第一预设阈值，则可以保持该初始数据位宽n1不变。
更进一步地，上述的第一预设位宽步长可以是恒定值，例如，每当量化误差大于第一预设阈值时，则处理器可以将当前检验迭代对应的数据位宽增大相同的位宽值。可选地，上述的第一预设位宽步长也可以是可变值，例如，处理器可以计算量化误差与第一预设阈值的差值，若该量化误差与第一预设阈值的差值越小，则第一预设位宽步长的值越小。
可选地，图8D示出本披露又一实施例中数据位宽调整方法800D的流程图。如图8D所示，上述操作S115还可以包括：
S1152、处理器可以判断上述的量化误差是否小于或等于第二预设阈值。
若所述量化误差小于或等于第二预设阈值，则可以执行操作S1153，减小所述当前检验迭代对应的数据位宽，获得当前检验迭代的目标数据位宽。当量化误差大于第二预设阈值时，则可以保持当前检验迭代的数据位宽不变。
进一步可选地，处理器可以经过一次调整获得上述的目标数据位宽。例如，当前检验迭代的初始数据位宽为n1，处理器可以经一次调整确定该目标数据位宽n2＝n1-t，其中，t为数据位宽的调整值。其中，采用该目标数据位宽n2对当前检验迭代的待量化数据进行量化时，获得的量化误差可以大于所述第二预设阈值。
进一步可选地，处理器可以经过多次调整获得目标数据位宽，直至量化误差大于第二预设阈值，并将该量化误差大于第二预设阈值时的数据位宽作为目标数据位宽。具体地，若所述量化误差小于或等于第一预设阈值，则根据第二预设位宽步长确定第二中间数据位宽；之后处理器可以根据该第二中间数据位宽对当前检验迭代的待量化数据进行量化，获得量化数据，并根据所述当前检验迭代中待量化数据和所述当前检验迭代的量化数据，确定量化误差，直至所述量化误差大于所述第二预设阈值。处理器可以将该量化误差大于第二预设阈值时对应的数据位宽，作为该目标数据位宽。
例如，当前检验迭代的初始数据位宽为n1，处理器可以采用该初始数据位宽n1对当前检验迭代的待量化数据A进行量化，获得量化数据B1，并根据该待量化数据A和量化数据 B1计算获得量化误差C1。在量化误差C1小于或等于第二预设阈值时，处理器确定第二中间数据位宽n2＝n1-t2，其中，t2为第二预设位宽步长。之后，处理器可以根据该第二中间数据位宽n2对当前检验迭代的待量化数据进行量化，获得当前检验迭代的量化数据B2，并根据该待量化数据A和量化数据B2计算获得量化误差C2。若该量化误差C2小于或等于第二预设阈值时，处理器确定第二中间数据位宽n2＝n1-t2-t2，之后根据该新的第二中间数据位宽对当前检验迭代的待量化数据A进行量化，并计算相应的量化误差，直至量化误差大于第二预设阈值。若量化误差C1大于第二预设阈值，则可以保持该初始数据位宽n1不变。
更进一步地，上述的第二预设位宽步长可以是恒定值，例如，每当量化误差小于第二预设阈值时，则处理器可以将当前检验迭代对应的数据位宽减小相同的位宽值。可选地，上述的第二预设位宽步长也可以是可变值，例如，处理器可以计算量化误差与第二预设阈值的差值，若该量化误差与第二预设阈值的差值越小，则第二预设位宽步长的值越小。
可选地，图8E示出本披露再一实施例中数据位宽调整方法800E的流程图。如图8E所示，当处理器确定量化误差小于第一预设阈值，且量化误差大于第二预设阈值时，可以保持当前检验迭代的数据位宽不变，其中，第一预设阈值大于第二预设阈值。即当前检验迭代的目标数据位宽可以等于初始数据位宽。其中，图8E中仅以举例的方式说明本披露一实施例的数据位宽确定方式，图8E中各个操作的顺序可以适应性调整，此处并不做具体限定。
图8F示出根据本披露实施例的神经网络量化方法800F的流程图。如图8F所示，所述神经网络量化方法包括：
步骤S10，确定与所述待量化层中每种待量化数据对应的量化参数，所述待量化数据包括神经元、权值、偏置、梯度中的至少一种。
步骤S20，将待量化数据根据对应的量化参数进行量化，得到量化数据，以使所述神经网络根据所述量化数据执行运算。
步骤S30，根据目标数据和所述目标数据对应的量化数据，确定所述目标数据的量化误差，所述目标数据为任意一种待量化数据。
可以根据目标数据对应的量化数据与目标数据之间的误差，确定目标数据的量化误差。可以利用设定的误差计算方法，例如标准差计算方法、均方根误差计算方法等，计算目标数据的量化误差。
也可以根据量化参数，将目标数据对应的量化数据进行反量化后得到反量化数据，根据反量化数据与目标数据之间的误差，确定目标数据的量化误差。
当量化参数包括点位置时，可以根据公式(28)对目标数据的量化数据进行反量化，得到目标数据的反量化数据
Figure PCTCN2019106801-appb-000069
Figure PCTCN2019106801-appb-000070
其中：round为四舍五入的取整运算，
Figure PCTCN2019106801-appb-000071
为目标数据的反量化数据，s为目标数据对应的点位置。
当量化参数包括缩放系数时，可以根据公式(29)对目标数据的量化数据进行反量化，得到目标数据的反量化数据
Figure PCTCN2019106801-appb-000072
Figure PCTCN2019106801-appb-000073
其中：round为进行四舍五入的取整运算。
Figure PCTCN2019106801-appb-000074
为目标数据的反量化数据，f为缩放系数。
当量化参数包括偏移量时，可以根据公式(30)对目标数据的量化数据进行反量化，得到目标数据的反量化数据
Figure PCTCN2019106801-appb-000075
Figure PCTCN2019106801-appb-000076
其中：round为进行四舍五入的取整运算。
Figure PCTCN2019106801-appb-000077
为目标数据的反量化数据，o为缩放系数。
当量化参数包括点位置和缩放系数时，可以根据公式(31)对目标数据的量化数据进行反量化，得到目标数据的反量化数据
Figure PCTCN2019106801-appb-000078
Figure PCTCN2019106801-appb-000079
当量化参数包括点位置和偏移量时，可以根据公式(32)对目标数据的量化数据进行反量化，得到目标数据的反量化数据
Figure PCTCN2019106801-appb-000080
Figure PCTCN2019106801-appb-000081
当量化参数包括缩放系数和偏移量时，可以根据公式(33)对目标数据的量化数据进行反量化，得到目标数据的反量化数据
Figure PCTCN2019106801-appb-000082
Figure PCTCN2019106801-appb-000083
当量化参数包括点位置、缩放系数和偏移量时，可以根据公式(34)对目标数据的量化数据进行反量化，得到目标数据的反量化数据
Figure PCTCN2019106801-appb-000084
Figure PCTCN2019106801-appb-000085
可以通过计算量化间隔相关的方法，例如可以通过公式(35)计算得到目标数据与目标数据对应的反量化数据之间的误差diff bit：
Figure PCTCN2019106801-appb-000086
其中，p为目标数据中的各元素的数量，s为目标数据的点位置。A的取值可以根据量化参数进行确定，当量化参数包括点位置s时，A＝2 s；当量化参数包括点位置s和缩放系数f时，A＝2 s×f。
也可以通过计算两个数据的均值之间的差的方法，例如通过公式(36)计算得到目标数据与目标数据对应的反量化数据之间的误差diff bit：
Figure PCTCN2019106801-appb-000087
也可以通过计算两个数据的差之间的均值的方法，例如通过公式(37)计算得到目标数据与目标数据对应的反量化数据之间的误差diff bit：
Figure PCTCN2019106801-appb-000088
步骤S40，根据所述量化误差和误差阈值，调整所述目标数据对应的数据位宽，得到 所述目标数据对应的调整位宽。
可以根据经验值确定误差阈值，误差阈值可以用于表示对量化误差的期望值。当量化误差大于或小于误差阈值时，可以调整目标数对应的数据位宽，得到目标数据对应的调整位宽。可以将数据位宽调整为更长的位宽或更短的位宽，以提高或降低量化精度。
可以根据能够接受的最大误差确定误差阈值，当量化误差大于误差阈值时，说明量化精度不能达到预期，需要将数据位宽调整为更长的位宽。也可以根据较高的量化精度确定一个较小的误差阈值，当量化误差小于误差阈值时，说明量化精度较高，神经网络的运行效率将受到影响，可以适当的将数据位宽调整为更短的位宽，以适当的降低量化精度，提高神经网络的运行效率。
可以将数据位宽按照固定的位数步长进行调整，也可以根据量化误差与误差阈值之间的差值的不同，按照可变的调整步长调整数据位宽。本披露对此不做限定。
步骤S50，将所述目标数据对应的数据位宽更新为所述调整位宽，根据所述目标数据和所述调整位宽计算得到对应的调整量化参数，以使所述神经网络根据所述调整量化参数进行量化。
确定调整位宽后，可以将目标数据对应的数据位宽更新为调整位宽。例如，目标数据更新前的数据位宽为8位，调整位宽为12位，则更新后目标数据对应的数据位宽为12位。可以根据调整位宽和目标数据计算得到目标数据对应的调整量化参数。可以根据目标数据对应的调整量化参数重新对目标数据进行量化，以得到量化精度更高或更低的量化数据，使得待量化层在量化精度和处理效率之间达到平衡。
在神经网络的推理、训练和微调过程中，各层之间的待量化数据可以认为具有一定的关联性。例如，各层的待量化数据之间的均值之间的差小于设定的均值阈值，且各层的待量化数据之间的最大值之间的差值也小于设定的差值阈值时，可以将待量化层的调整量化参数作为后续的一个或多个层的调整量化参数，用于对待量化层后续的一个或多个层的待量化数据进行量化。也可以在神经网络的训练和微调过程中，将待量化层在当前迭代得到的调整量化参数，用于在后续的迭代中对待量化层进行量化。
在一种可能的实现方式中，所述方法还包括：
在所述待量化层之后的一层或多层采用所述待量化层的量化参数。
神经网络根据调整量化参数进行量化，可以包括只在待量化层利用调整量化参数对待量化数据重新进行量化，并将重新得到的量化数据用于待量化层的运算。也可以包括在待量化层不使用调整量化参数重新对待量化数据进行量化，而在待量化层后续的一个或多个层使用调整量化参数进行量化，和/或后续的迭代中在待量化层使用调整量化参数进行量化。还可以包括在待量化层使用调整量化参数重新进行量化，并将重新得到的量化数据用于待量化层的运算，并且在待量化层后续的一个或多个层使用调整量化参数进行量化，和/或后续的迭代中在待量化层使用调整量化参数进行量化。本披露对此不作限定。
在本实施例中，根据目标数据和目标数据对应的量化数据，确定目标数据的量化误差，目标数据为任意一种待量化数据；所述量化误差和误差阈值，调整目标数据对应的数据位 宽，得到目标数据对应的调整位宽；将目标数据对应的数据位宽更新为调整位宽，根据目标数据和调整位宽计算得到对应的调整量化参数，以使神经网络根据调整量化参数进行量化。根据目标数据和量化数据之间的误差调整数据位宽，并根据调整后的数据位宽计算得到调整量化参数。通过设置不同的误差阈值可以得到不同的调整量化参数，达到提高量化精度或提高运行效率等不同的量化需求。根据目标数据和目标数据的量化数据计算得到的调整量化参数，也能够更加符合目标数据自身的数据特征，达到更加符合目标数据自身需求的量化结果，在量化精度和处理效率之间达到更好的平衡。
图8G示出根据本披露实施例的神经网络量化方法800G的流程图。如图8G所示，所述神经网络量化方法中步骤S40，包括：
步骤S41，当所述量化误差大于所述第一误差阈值时，增加所述目标数据对应的数据位宽，得到所述目标数据对应的调整位宽。
可以根据能够接受的最大的量化误差，确定第一误差阈值。可以将量化误差与第一误差阈值进行比较。当量化误差大于第一误差阈值时，可以认为量化误差已经不可接受。需要提高量化精度，可以通过增加目标数据对应的数据位宽的方式，提高目标数据的量化精度。
可以将目标数据对应的数据位宽按照固定的调整步长增加，得到调整位宽。固定的调整步长可以为N位，N为正整数。每次调整数据位宽可以增加N位。每次增加后的数据位宽＝原数据位宽+N位。
可以将目标数据对应的数据位宽按照可变的调整步长增加，得到调整位宽。例如，当量化误差与误差阈值之间的差值大于第一阈值时，可以按照调整步长M1调整数据位宽，当量化误差与误差阈值之间的差值小于第一阈值时，可以按照调整步长M2调整数据位宽，其中，第一阈值大于第二阈值，M1大于M2。可以根据需求确定各可变的调整步长。本披露对数据位宽的调整步长及调整步长是否可变不做限定。
可以将目标数据按照调整位宽计算得到调整后的量化参数。利用调整后的量化参数对目标数据进行重新量化后得到的量化数据，比利用调整前的量化参数量化得到的量化数据的量化精度更高。
图8H示出根据本披露实施例的神经网络量化方法800H的流程图。如图8H所示，所述神经网络量化方法还包括：
步骤S42，根据所述调整位宽和所述目标数据计算所述目标数据调整后的量化误差；
步骤S43，根据所述调整后的量化误差和所述第一误差阈值继续增加所述调整位宽，直至根据调整位宽和所述目标数据计算得到的调整后的量化误差小于或等于所述第一误差阈值。
根据量化误差增加目标数据对应的数据位宽时，调整一次位宽后得到调整位宽，根据调整位宽计算得到调整后的量化参数，根据调整后的量化参数量化目标数据得到调整后的量化数据，再根据调整后的量化数据与目标数据计算得到目标数据调整后的量化误差，调整后的量化误差可能依然大于第一误差阈值，即根据调整一次的数据位宽可能不能满足调 整目的。当调整后的量化误差依然大于第一误差阈值时，可以继续对调整后的数据位宽进行调整，即多次增加目标数据对应的数据位宽，直至根据最终得到的调整位宽和目标数据得到的调整后的量化误差小于第一误差阈值。
多次增加的调整步长可以是固定的调整步长，也可以是可变的调整步长。例如，最终的数据位宽＝原数据位宽+A*N位，其中N为每次增加的固定的调整步长，A为数据位宽的增加次数。最终的数据位宽＝原数据位宽+M1+M2+…+Mm,其中，M1、M2…Mm为每次增加的可变的调整步长。
在本实施例中，当量化误差大于第一误差阈值时，增加所述目标数据对应的数据位宽，得到所述目标数据对应的调整位宽。可以通过设置第一误差阈值和调整步长增加数据位宽，以使调整后的数据位宽能够满足量化的需求。当一次调整不能满足调整需求时，还可以对数据位宽进行多次调整。第一误差阈值和调整步长的设置，使得量化参数可以按照量化需求进行灵活调整，满足不同的量化需求，使得量化精度可根据自身数据特征进行自适应调整。
图8I示出根据本披露实施例的神经网络量化方法800I的流程图。如图8I所示，所述神经网络量化方法中步骤S40，包括：
步骤S44，当所述量化误差小于所述第二误差阈值时，减少所述目标数据对应的数据位宽，所述第二误差阈值小于所述第一误差阈值。
可以根据能够接受的量化误差和期望的神经网络的运行效率，确定第二误差阈值。可以将量化误差与第二误差阈值进行比较。当量化误差小于第二误差阈值时，可以认为量化误差超出预期，但运行效率过低已经不可接受。可以降低量化精度以提高神经网络的运行效率，可以通过减少目标数据对应的数据位宽的方式，降低目标数据的量化精度。
可以将目标数据对应的数据位宽按照固定的调整步长减少，得到调整位宽。固定的调整步长可以为N位，N为正整数。每次调整数据位宽可以减少N位。增加后的数据位宽＝原数据位宽-N位。
可以将目标数据对应的数据位宽按照可变的调整步长减少，得到调整位宽。例如，当量化误差与误差阈值之间的差值大于第一阈值时，可以按照调整步长M1调整数据位宽，当量化误差与误差阈值之间的差值小于第一阈值时，可以按照调整步长M2调整数据位宽，其中，第一阈值大于第二阈值，M1大于M2。可以根据需求确定各可变的调整步长。本披露对数据位宽的调整步长及调整步长是否可变不做限定。
可以将目标数据按照调整位宽计算得到调整后的量化参数，利用调整后的量化参数对目标数据进行重新量化后得到的量化数据，比利用调整前的量化参数量化得到的量化数据的量化精度更低。
图8J示出根据本披露实施例的神经网络量化方法800J的流程图。如图8J所示，所述神经网络量化方法还包括：
步骤S45，根据所述调整位宽和所述目标数据计算所述目标数据调整后的量化误差；
步骤S46，根据所述调整后的量化误差和所述第二误差阈值继续减少所述调整位宽， 直至根据调整位宽和所述目标数据计算得到的调整后的量化误差大于或等于所述第二误差阈值。
根据量化误差增加目标数据对应的数据位宽时，调整一次位宽后得到调整位宽，根据调整位宽计算得到调整后的量化参数，根据调整后的量化参数量化目标数据得到调整后的量化数据，再根据调整后的量化数据与目标数据计算得到目标数据调整后的量化误差，调整后的量化误差可能依然小于第二误差阈值，即根据调整一次的数据位宽可能不能满足调整目的。当调整后的量化误差依然小于第二误差阈值时，可以继续对调整后的数据位宽进行调整，即多次减少目标数据对应的数据位宽，直至根据最终得到的调整位宽和目标数据得到的调整后的量化误差大于第二误差阈值。
多次减少的调整步长可以是固定的调整步长，也可以是可变的调整步长。例如，最终的数据位宽＝原数据位宽-A*N位，其中N为每次增加的固定的调整步长，A为数据位宽的增加次数。最终的数据位宽＝原数据位宽-M1-M2-…-Mm,其中，M1、M2…Mm为每次减少的可变的调整步长。
在本实施例中，当量化误差小于第二误差阈值时，减少所述目标数据对应的数据位宽，得到所述目标数据对应的调整位宽。可以通过设置第二误差阈值和调整步长减少数据位宽，以使调整后的数据位宽能够满足量化的需求。当一次调整不能满足调整需求时，还可以对数据位宽进行多次调整。第二误差阈值和调整步长的设置，使得量化参数可以按照量化需求进行灵活的自适应调整，满足不同的量化需求，使得量化精度可调，在量化精度和神经网络的运行效率之间达到平衡。
在一种可能的实现方式中，所述方法还包括：
当所述量化误差大于第一误差阈值时，增加所述目标数据对应的数据位宽，以及当所述量化误差小于第二误差阈值时，减少所述目标数据对应的数据位宽，得到所述目标数据对应的调整位宽。
也可以同时设置两个误差阈值，其中，第一误差阈值用于表示量化精度过低，可以增加数据位宽的位数，第二误差阈值用于表示量化精度过高，可以减少数据位宽的位数。第一误差阈值大于第二误差阈值，可以将目标数据的量化误差同时与两个误差阈值进行比较，当量化误差大于第一误差阈值时，增加数据位宽的位数，当量化误差小于第二误差阈值时，减少数据位宽的位数。当量化误差位于第一误差阈值和第二误差阈值之间时，数据位宽可以保持不变。
在本实施例中，通过将量化误差与第一误差阈值和第二误差阈值同时进行比较，可以根据比较结果增加或减少数据位宽，可以利用第一误差阈值和第二误差阈值更加灵活的调整数据位宽。使得数据位宽的调整结果更加符合量化需求。
应当清楚的是，神经网络的训练(Training)是指对神经网络(该神经网络的权值可以是随机数)进行多次迭代运算(iteration)，使得神经网络的权值能够满足预设条件的过程。其中，一次迭代运算一般包括一次正向运算、一次反向运算和一次权值更新运算。正向运算是指根据神经网络的输入数据进行正向推理，获得正向运算结果的过程。反向运算 是根据正向运算结果与预设参考值确定损失值，并根据该损失值确定权值梯度值和/或输入数据梯度值的过程。权值更新运算是指根据权值梯度值调整神经网络的权值的过程。具体地，神经网络的训练过程如下：处理器可以采用权值为随机数的神经网络对输入数据进行正向运算，获得正向运算结果。之后处理器根据该正向运算结果与预设参考值确定损失值，根据该损失值确定权值梯度值和/或输入数据梯度值。最后，处理器可以根据权值梯度值更新神经网络的梯度值，获得新的权值，完成一次迭代运算。处理器循环执行多次迭代运算，直至神经网络的正向运算结果满足预设条件。例如，当神经网络的正向运算结果收敛于预设参考值时，结束训练。或者，当神经网络的正向运算结果与预设参考值确定的损失值小于或等于预设精度时，结束训练。
微调是指对神经网络(该神经网络的权值已经处于收敛状态而非随机数)进行多次迭代运算，以使得神经网络的精度能够满足预设需求的过程。该微调过程与上述训练过程基本一致，可以认为是对处于收敛状态的神经网络进行重训练的过程。推理(Inference)是指采用权值满足预设条件的神经网络进行正向运算，从而实现识别或分类等功能的过程，如采用神经网络进行图像识别等等。
本披露实施例中，在上述神经网络的训练或微调过程中，可以在神经网络运算的不同阶段采用不同的量化参数对神经网络的运算数据进行量化，并根据量化后的数据进行迭代运算，从而可以减小神经网络运算过程中的数据存储空间，提高数据访存效率及运算效率。如图8K所示，示出本披露一实施例的量化参数调整方法800K的流程图，上述方法可以包括：
S100、获取待量化数据的数据变动幅度。
可选地，处理器可以直接读取该待量化数据的数据变动幅度，该待量化数据的数据变动幅度可以是用户输入的。
可选地，处理器也可以根据当前迭代的待量化数据和历史迭代的待量化数据，计算获得上述的待量化数据的数据变动幅度，其中当前迭代是指当前执行的迭代运算，历史迭代是指在当前迭代之前执行的迭代运算。例如，处理器可以获取当前迭代的待量化数据中元素的最大值以及元素的平均值，以及各个历史迭代的待量化数据中元素的最大值以及元素的平均值，并根据各次迭代中元素的最大值和元素的平均值，确定待量化数据的变动幅度。若当前迭代的待量化数据中元素的最大值与预设数量的历史迭代的待量化数据中元素的最大值较为接近，且当前迭代的待量化数据中元素的平均值与预设数量的历史迭代的待量化数据中元素的平均值较为接近时，则可以确定上述的待量化数据的数据变动幅度较小。否则，则可以确定待量化数据的数据变动幅度较大。再如，该待量化数据的数据变动幅度可以采用待量化数据的滑动平均值或方差等进行表示，此处不做具体限定。
本披露实施例中，该待量化数据的数据变动幅度可以用于确定是否需要调整待量化数据的量化参数。例如，若待量化数据的数据变动幅度较大，则可以说明需要及时调整量化参数，以保证量化精度。若待量化数据的数据变动幅度较小，则当前检验迭代及其之后一定数量的迭代可以沿用历史迭代的量化参数，从而可以避免频繁的调整量化参数，提高量 化效率。
其中，每次迭代涉及至少一个待量化数据，该待量化数据可以是浮点表示的运算数据，也可以是定点表示的运算数据。可选地，每次迭代的待量化数据可以是神经元数据、权值数据或梯度数据中的至少一种，梯度数据还可以包括神经元梯度数据和权值梯度数据等。
S200、根据所述待量化数据的数据变动幅度，确定目标迭代间隔，以根据该目标迭代间隔调整神经网络运算中的量化参数，其中，所述目标迭代间隔包括至少一次迭代，所述神经网络的量化参数用于实现对所述神经网络运算中待量化数据的量化操作。在此，量化参数可以包括数据宽度。因而，在此可以根据所述待量化数据的数据变动幅度，确定目标迭代间隔，以根据该目标迭代间隔调整神经网络运算中的数据宽度，所述目标迭代间隔包括至少一次迭代。
可选地，该量化参数可以包括上述的点位置和/或缩放系数，其中，缩放系数可以包括第一缩放系数和第二缩放系数。具体的点位置计算方法、缩放系数的计算方法可参见上文描述的公式，此处不再赘述。可选地，该量化参数还可以包括偏移量，该偏移量的计算方法可参见上文描述的公式；更进一步地，处理器还可以根据按照上文描述的其他公式来确定点位置、确定缩放系数。本披露实施例中，处理器可以根据确定的目标迭代间隔，更新上述的点位置、缩放系数或偏移量中的至少一种，以调整该神经网络运算中的量化参数。也就是说，该神经网络运算中的量化参数可以根据神经网络运算中待量化数据的数据变动幅度进行更新，从而可以保证量化精度。
可以理解的是，通过对神经网络训练或微调过程中的运算数据的变化趋势进行统计和分析，可以得到待量化数据的数据变动曲线。如图8L所示，根据该数据变动曲线800L可以获知，在神经网络训练或微调的初期，不同迭代的待量化数据的数据变动较为剧烈，随着训练或微调运算的进行，不同迭代的待量化数据的数据变动逐渐趋于平缓。因此，在神经网络训练或微调的初期，可以较为频繁地调整量化参数；在神经网络训练或微调的中期和后期，可以间隔多次迭代或训练周期再调整量化参数。本披露的方法即是通过确定合适的迭代间隔，以取得量化精度和量化效率的平衡。
具体地，处理器可以通过待量化数据的数据变动幅度，确定目标迭代间隔，以根据该目标迭代间隔调整神经网络运算中的量化参数。可选地，该目标迭代间隔可以随着待量化数据的数据变动幅度的减小而增大。也就是说，该待量化数据的数据变动幅度越大时，则该目标迭代间隔越小，表明量化参数的调整越频繁。该待量化数据的数据变动幅度越小时，则该目标迭代间隔越大，表明量化参数的调整越不频繁。当然，在其他实施例中，上述的目标迭代间隔还可以是超参数，例如，该目标迭代间隔可以是用户自定义设置的。
可选地，上述的权值数据、神经元数据及梯度数据等各种待量化数据可以分别具有的不同的迭代间隔。相应地，处理器可以分别获取各种待量化数据对应的数据变动幅度，以分别根据每种待量化数据的数据变动幅度，确定相应种类的待量化数据对应的目标迭代间隔。也就是说，各种待量化数据的量化过程可以是异步进行的。本披露实施例中，由于不同种类的待量化数据之间具有差异性，因此可以采用不同的待量化数据的数据变动幅度， 确定相应的目标迭代间隔，并分别根据相应的目标迭代间隔确定对应的量化参数，从而可以保证待量化数据的量化精度，进而保证神经网络的运算结果的正确性。
当然，在其他实施例中，针对不同种类的待量化数据还可以确定相同的目标迭代间隔，以根据该目标迭代间隔调整相应待量化数据对应的量化参数。例如，处理器可以分别获取各种待量化数据的数据变动幅度，并根据最大的待量化数据的数据变动幅度确定目标迭代间隔，并根据该目标迭代间隔分别确定各种待量化数据的量化参数。更进一步地，不同种类的待量化数据还可以采用相同的量化参数。
进一步可选地，上述的神经网络可以包括至少一个运算层，该待量化数据可以是各个运算层涉及的神经元数据、权值数据或梯度数据中的至少一种。此时，处理器可以获得当前运算层涉及的待量化数据，并根据上述方法确定当前运算层中各种待量化数据的数据变动幅度及对应的目标迭代间隔。
可选地，处理器可以在每次迭代运算过程中均确定一次上述的待量化数据的数据变动幅度，并根据相应的待量化数据的数据变动幅度确定一次目标迭代间隔。也就是说，处理器可以在每次迭代均计算一次目标迭代间隔。具体的目标迭代间隔的计算方式可参见下文中的描述。进一步地，处理器可以根据预设条件从各次迭代中选定检验迭代，在各次检验迭代处确定待量化数据的变动幅度，并根据检验迭代对应的目标迭代间隔对量化参数等的更新调整。此时，若该迭代不是选定检验迭代，处理器可以忽略该迭代对应的目标迭代间隔。
可选地，每个目标迭代间隔可以对应一检验迭代，该检验迭代可以是该目标迭代间隔的起始迭代，也可以是该目标迭代间隔的终止迭代。处理器可以在各个目标迭代间隔的检验迭代处调整神经网络的量化参数，以实现根据目标迭代间隔调整神经网络运算的量化参数。其中，检验迭代可以是用于核查当前量化参数是否满足待量化数据的需求的时间点。该调整前的量化参数可以与调整后的量化参数相同，也可以与调整后的量化参数不同。可选地，相邻的检验迭代之间的间隔可以大于或等于一个目标迭代间隔。
例如，该目标迭代间隔可以从当前检验迭代开始计算迭代数量，该当前检验迭代可以是该目标迭代间隔的起始迭代。例如，当前检验迭代为第100次迭代，处理器根据待量化数据的数据变动幅度，确定目标迭代间隔的迭代间隔为3，则处理器可以确定该目标迭代间隔包括3次迭代，分别为第100次迭代、第101次迭代和第102次迭代。处理器可以在该第100次迭代处调整神经网络运算中的量化参数。其中，当前检验迭代是处理器当前执行量化参数更新调整时对应的迭代运算。
可选地，目标迭代间隔还可以是从当前检验迭代的下一次迭代开始计算迭代数量，该当前检验迭代可以是当前检验迭代之前的上一迭代间隔的终止迭代。例如，当前检验迭代为第100次迭代，处理器根据待量化数据的数据变动幅度，确定目标迭代间隔的迭代间隔为3，则处理器可以确定该目标迭代间隔包括3次迭代，分别为第101次迭代、第102次迭代和第103次迭代。处理器可以在该第100次迭代和第103次迭代处调整神经网络运算中的量化参数。本披露对目标迭代间隔的确定方式不做具体限定。
在一个实施例中，根据上文中点位置、缩放系数及偏移量的计算公式可以看出，量化参数往往与待量化数据相关，因此，上述操作S100中，待量化数据的数据变动幅度也可以通过量化参数的变动幅度间接确定，该待量化数据的数据变动幅度可以通过量化参数的变动幅度进行表征。具体地，如图8M所示，示出本披露一实施例的参数调整方法中目标迭代间隔的确定方法800M的流程图。上述操作S100可以包括：
S110、获取点位置的变动幅度；其中，所述点位置的变动幅度能够用于表征所述待量化数据的数据变动幅度，所述点位置的变动幅度与所述待量化数据的数据变动幅度正相关。
可选地，点位置的变动幅度能够间接反应待量化数据的变动幅度。该点位置的变动幅度可以是根据当前检验迭代的点位置和至少一次历史迭代的点位置确定的。其中，当前检验迭代的点位置及各次历史迭代的点位置可以上文描述的公式进行确定。
例如，处理器还可以计算当前检验迭代的点位置和历史迭代的点位置的方差等，并根据该方差确定点位置的变动幅度。再如，处理器可以根据当前检验迭代的点位置和历史迭代的点位置的平均值，确定点位置的变动幅度。具体地，如图8N所示，图8N示出本披露一实施例中点位置的变动幅度的确定方法800N的流程图。上述操作S110可以包括：
S111、根据所述当前检验迭代之前的上一检验迭代对应的点位置，以及所述上一检验迭代之前的历史迭代对应的点位置，确定第一均值。其中，上一检验迭代为上一次调整所述量化参数时对应的迭代，上一检验迭代与所述当前检验迭代之间间隔至少一个迭代间隔。
可选地，至少一次历史迭代可以分属于至少一个迭代间隔中，每个迭代间隔可以对应有一个检验迭代，相邻的两个检验迭代可以具有一个迭代间隔。上述操作S111中的上一检验迭代可以是目标迭代间隔之前的上一迭代间隔对应的检验迭代。
可选地，该第一均值可以按照如下公式进行计算：
M1＝a1×s t-1+a2×s t-2+a3×s t-3+…+am×s 1         公式(38)
其中，a1～am是指各次迭代的点位置对应的计算权重，s t-1是指上一检验迭代对应的点位置，s t-2，s t-3…s 1是指上一检验迭代之前的历史迭代对应的点位置，M1是指上述的第一均值。进一步地，根据数据的分布特性，历史迭代与该上一检验迭代距离越远，对该上一检验迭代附近的迭代的点位置的分布及变动幅度影响越小，因此，上述计算权重可以按照a1～am的顺序依次减小。
例如，上一检验迭代为神经网络运算的第100次迭代，历史迭代可以是第1次迭代至第99次迭代，则处理器可以获得该第100次迭代的点位置(即s t-1)，并获得该第100次迭代之前的历史迭代的点位置，即s 1可以指神经网络的第1次迭代对应的点位置……，s t-3可以指神经网络的第98次迭代对应的点位置，s t-2可以指神经网络的第99次迭代对应的点位置。进一步地，处理器可以根据上述公式计算获得第一均值。
更进一步地，该第一均值可以根据各个迭代间隔对应的检验迭代的点位置进行计算。例如，该第一均值可以按照如下公式进行计算：
M1＝a1×s t-1+a2×s t-2+a3×s t-3+…+am×s 1；
其中，a1～am是指各次检验迭代的点位置对应的计算权重，s t-1是指上一检验迭代对 应的点位置，s t-2，s t-3…s 1是指上一检验迭代之前的预设数量的迭代间隔的检验迭代对应的点位置，M1是指上述的第一均值。
例如，上一检验迭代为神经网络运算的第100次迭代，历史迭代可以是第1次迭代至第99次迭代，该99次历史迭代可以分属于11个迭代间隔。比如，第1次迭代至第9次迭代属于第1个迭代间隔，第10次迭代至第18次迭代属于第2个迭代间隔，……，第90次迭代至第99次迭代属于第11个迭代间隔。则处理器可以获得该第100次迭代的点位置(即s t-1)，并获得该第100次迭代之前的迭代间隔中检验迭代的点位置，即s 1可以指神经网络的第1个迭代间隔的检验迭代对应的点位置(比如s 1可以指神经网络的第1次迭代对应的点位置)，……，s t-3可以指神经网络的第10个迭代间隔的检验迭代对应的点位置(比如s t-3可以指神经网络的第81次迭代对应的点位置)，s t-2可以指神经网络的第11个迭代间隔的检验迭代对应的点位置(比如，s t-2可以指神经网络的第90次迭代对应的点位置)。进一步地，处理器可以根据上述公式计算获得第一均值M1。
本披露实施例中，为方便举例说明，假定该迭代间隔包含的迭代数量相同。而在实际使用过程中，该迭代间隔包含的迭代数量可以不相同。可选地，该迭代间隔包含的迭代数量随迭代的增加而增加，即随着神经网络训练或微调的进行，迭代间隔可以越来越大。
再进一步地，为进一步简化计算，降低数据占用的存储空间，上述第一均值M1可以采用如下公式进行计算：
M1＝α×s t-1+(1-α)×M0       公式(39)
其中，α是指上一检验迭代对应的点位置的计算权重，s t-1是指上一检验迭代对应的点位置，M0是指该上一检验迭代之前的检验迭代对应的滑动平均值，该M0的具体计算方式可参照上述的M1的计算方式，此处不再赘述。
S112、根据当前检验迭代对应的点位置及所述当前检验迭代之前的历史迭代的点位置，确定第二均值。其中，当前检验迭代对应的点位置可以根据当前检验迭代的目标数据位宽和待量化数据确定。
可选地，该第二均值M2可以按照如下公式进行计算：
M2＝b1×s t+b2×s t-1+b3×s t-2+…+bm×s 1      公式(40)
其中，b1～bm是指各次迭代的点位置对应的计算权重，s t是指当前检验迭代对应的点位置，s t-1，s t-2…s 1是指当前检验迭代之前的历史迭代对应的点位置，M2是指上述的第二均值。进一步地，根据数据的分布特性，历史迭代与该当前检验迭代距离越远，对该当前检验迭代附近的迭代的点位置的分布及变动幅度影响越小，因此，上述计算权重可以按照b1～bm的顺序依次减小。
例如，当前检验迭代为神经网络运算的第101次迭代，该当前检验迭代之前的历史迭代是指第1次迭代至第100次迭代。则处理器可以获得该第101次迭代的点位置(即s t)，并获得该第101次迭代之前的历史迭代的点位置，即s 1可以指神经网络的第1次迭代对应的点位置……，s t-2可以指神经网络的第99次迭代对应的点位置，s t-1可以指神经网络的第100次迭代对应的点位置。进一步地，处理器可以根据上述公式计算获得第二均值M2。
可选地，该第二均值可以根据各个迭代间隔对应的检验迭代的点位置进行计算。具体地，如图8O所示，示出本披露一实施例中第二均值的确定方法800O的流程图。上述操作S112可以包括如下操作：
S1121、获取预设数量的中间滑动平均值，其中，各个所述中间滑动平均值是根据所述当前检验迭代之前所述预设数量的检验迭代确定，所述检验迭代为调整所述神经网络量化过程中的参数时对应的迭代；
S1122、根据所述当前检验迭代的点位置以及所述预设数量的中间滑动平均值，确定所述第二均值。
例如，该第二均值可以按照如下公式进行计算：
M2＝b1×s t+b2×s t-1+b3×s t-2+…+bm×s 1；
其中，b1～bm是指各次迭代的点位置对应的计算权重，s t是指当前检验迭代对应的点位置，s t-1，s t-2…s 1是指当前检验迭代之前的检验迭代对应的点位置，M2是指上述的第二均值。
例如，当前检验迭代为第100次迭代，历史迭代可以是第1次迭代至第99次迭代，该99次历史迭代可以分属于11个迭代间隔。比如，第1次迭代至第9次迭代属于第1个迭代间隔，第10次迭代至第18次迭代属于第2个迭代间隔，……，第90次迭代至第99次迭代属于第11个迭代间隔。则处理器可以获得该第100次迭代的点位置(即s t)，并获得该第100次迭代之前的迭代间隔中检验迭代的点位置，即s 1可以指神经网络的第1个迭代间隔的检验迭代对应的点位置(比如s 1可以指神经网络的第1次迭代对应的点位置)，……，s t-2可以指神经网络的第10个迭代间隔的检验迭代对应的点位置(比如s t-2可以指神经网络的第81次迭代对应的点位置)，s t-1可以指神经网络的第11个迭代间隔的检验迭代对应的点位置(比如，s t-1可以指神经网络的第90次迭代对应的点位置)。进一步地，处理器可以根据上述公式计算获得第二均值M2。
本披露实施例中，为方便举例说明，假定该迭代间隔包含的迭代数量相同。而在实际使用过程中，该迭代间隔包含的迭代数量可以不相同。可选地，该迭代间隔包含的迭代数量随迭代的增加而增加，即随着神经网络训练或微调的进行，迭代间隔可以越来越大。
更进一步地，为简便计算，降低数据占用的存储空间，处理器可以根据所述当前检验迭代对应的点位置以及所述第一均值，确定所述第二均值，即上述第二均值可以采用如下公式进行计算：
M2＝β×s t+(1-β)×M1       公式(41)
其中，β是指当前检验迭代对应的点位置的计算权重，M1是指上述的第一均值。
S113、根据所述第一均值和所述第二均值确定第一误差，所述第一误差用于表征所述当前检验迭代及所述历史迭代的点位置的变动幅度。
可选地，第一误差可以等于第二均值与上述的第一均值之间的差值的绝对值。具体地，上述的第一误差可以按照如下公式进行计算：
diff update1＝|M2-M1|＝β|s (t)-M1|       公式(42)
可选地，上述的当前检验迭代的点位置可以根据当前检验迭代的待量化数据和当前检验迭代对应的目标数据位宽确定，具体的点位置计算方式可以参见上文的公式。其中，上述当前检验迭代对应的目标数据位宽可以是超参数。进一步可选地，该当前检验迭代对应的目标数据位宽可以是用户自定义输入的。可选地，在神经网络训练或微调过程中的待量化数据对应的数据位宽可以是不变的，即同一神经网络的同种待量化数据采用同一数据位宽进行量化，例如，针对该神经网络在各次迭代中的神经元数据均采用8比特的数据位宽进行量化。
可选地，神经网络训练或微调过程中的待量化数据对应的数据位宽为可变的，以保证数据位宽能够满足待量化数据的量化需求。也就是说，处理器可以根据待量化数据，自适应的调整该待量化数据对应的数据位宽，获得该待量化数据对应的目标数据位宽。具体地，处理器可以首先确定当前检验迭代对应的目标数据位宽，之后，处理器可以根据该当前检验迭代对应的目标数据位宽及该当前检验迭代对应的待量化数据，确定当前检验迭代对应的点位置。
本披露实施例中，由于当前检验迭代的数据位宽发生变化时，会相应的带来点位置的变化。但此时点位置的变化并非是待量化数据的数据变动引起的，根据上述公式(42)确定的第一误差计算获得的目标迭代间隔可能不准确，从而会影响量化的精度。因此，在当前检验迭代的数据位宽发生变化时，可以相应的调整上述的第二均值，以保证第一误差能够准确的反映点位置的变动幅度，进而保证目标迭代间隔的准确性和可靠性。具体地，如图8P所示，示出本披露另一实施例中第二均值的确定方法800P的流程图。上述方法还可以包括：
S116、根据所述目标数据位宽，确定所述当前检验迭代的数据位宽调整值；
具体地，处理器可以根据当前检验迭代的目标数据位宽和初始数据位宽，确定当前检验迭代的数据位宽调整值。其中，该数据位宽调整值＝目标数据位宽-初始数据位宽。当然，处理器还可以直接获得当前检验迭代的数据位宽调整值。
S117、根据所述当前检验迭代的数据位宽调整值，更新上述的第二均值。
具体地，若数据位宽调整值大于预设参数(例如，该预设参数可以等于零)时，即当前检验迭代的数据位宽增加时，处理器可以相应地减少第二均值。若数据位宽调整值小于预设参数(例如，该预设参数可以等于零)时，即当前检验迭代的数据位宽减少时，处理器可以相应地增加第二均值。若数据位宽调整值等于预设参数，即当数据位宽调整值等于0时，此时当前迭代对应的待量化数据未发生改变，更新后的第二均值等于更新前的第二均值，该更新前的第二均值根据上述公式(41)计算获得。可选地，若数据位宽调整值等于预设参数，即当数据位宽调整值等于0时，处理器可以不更新第二均值，即处理器可以不执行上述操作S117。
例如，更新前的第二均值M2＝β×s t+(1-β)×M1；当前检验迭代对应的目标数据位宽n2＝初始数据位宽n1+Δn时，其中，Δn表示数据位宽调整值。此时，更新后的第二均值M2＝β×(s t-Δn)+(1-β)×(M1-Δn)。当前检验迭代对应的目标数据位宽 n2＝初始数据位宽n1-Δn时，其中，Δn表示数据位宽调整值，此时，更新后的第二均值M2＝β×(s t-Δn)+(1-β)×(M1+Δn)，其中，s t是指当前检验迭代是根据目标数据位宽确定的点位置。
再如，更新前的第二均值M2＝β×s t+(1-β)×M1；当前检验迭代对应的目标数据位宽n2＝初始数据位宽n1+Δn时，其中，Δn表示数据位宽调整值。此时，更新后的第二均值M2＝β×s t+(1-β)×M1-Δn。再如，当前检验迭代对应的目标数据位宽n2＝初始数据位宽n1-Δn时，其中，Δn表示数据位宽调整值，此时，更新后的第二均值M2＝β×s t+(1-β)×M1+Δn，其中，s t是指当前检验迭代是根据目标数据位宽确定的点位置。
进一步地，上述操作S200可以包括：
根据点位置的变动幅度，确定目标迭代间隔，其中，该目标迭代间隔与上述的点位置的变动幅度负相关。即上述的点位置的变动幅度越大，则该目标迭代间隔越小。上述的点位置的变动幅度越小，则该目标迭代间隔越大。
如上所述，上述的第一误差可以表征点位置的变动幅度，上述操作可以包括：
处理器可以根据所述第一误差确定所述目标迭代间隔，其中，目标迭代间隔与所述第一误差负相关。即第一误差越大，则说明点位置的变化幅度越大，进而表明待量化数据的数据变动幅度越大，此时，目标迭代间隔越小。
具体地，处理器可以根据以下公式计算得到目标迭代间隔I：
Figure PCTCN2019106801-appb-000089
其中，I为目标迭代间隔，diff update1表示上述的第一误差，δ和γ可以为超参数。
可以理解的是，第一误差可以用于衡量点位置的变动幅度，第一误差越大，表明点位置的变动幅度越大，进而说明待量化数据的数据变动幅度越大，目标迭代间隔需要设置得越小。也就是说，第一误差越大，量化参数的调整越频繁。
在本实施例中，通过计算点位置的变动幅度(第一误差)，并根据点位置的变动幅度确定目标迭代间隔。由于量化参数根据目标迭代间隔确定，也就使得根据量化参数进行量化得到的量化数据，能够更加符合目标数据的点位置的变动趋势，在保证量化精度的同时，提高神经网络的运行效率。
可选地，处理器在当前检验迭代处确定目标迭代间隔后，可以进一步在当前检验迭代处确定目标迭代间隔对应的量化参数和数据位宽等参数，从而根据目标迭代间隔更新量化参数。其中，量化参数可以包括点位置和/或缩放系数。进一步地，该量化参数还可以包括偏移量。该量化参数的具体计算方式可参见上文中的描述。如图8Q所示，示出本披露另一实施例的量化参数调整方法800Q的流程图，上述方法还可以包括：
S300、处理器根据目标迭代间隔调整神经网络运算中的量化参数。
具体地，处理器可以根据目标迭代间隔确定检验迭代，并在各个检验迭代处更新目标迭代间隔，还可以在各个检验迭代处更新量化参数。例如，神经网络运算中的数据位宽保持不变，此时，处理器可以在各个检验迭代处直接根据检验迭代的待量化数据，调整点位置等量化参数。再如，神经网络运算中的数据位宽可变，此时，处理器可以在各个检验迭 代处更新数据位宽，并根据更新后的数据位宽和该检验迭代的待量化数据，调整点位置等量化参数。
本披露实施例中，处理器在各个检验迭代处更新量化参数，以保证当前量化参数满足待量化数据的量化需求。其中，更新前的目标迭代间隔与更新后的目标迭代间隔可以相同，也可以不同。更新前的数据位宽与更新后的数据位宽可以相同，也可以不同；即不同迭代间隔的数据位宽可以相同，也可以不同。更新前的量化参数与更新后的量化参数可以相同，也可以不同；即不同迭代间隔的量化参数可以相同，也可以不同。
可选地，上述操作S300中，处理器可以在检验迭代处确定目标迭代间隔中的量化参数，以调整神经网络运算中的量化参数。
在一种情况下，该神经网络运算中的各次迭代对应的数据位宽均不发生变化，即该神经网络运算中各次迭代对应的数据位宽均相同，此时，处理器可以通过确定目标迭代间隔中的点位置等量化参数，实现根据目标迭代间隔对神经网络运算中的量化参数的调整的目的。其中，该目标迭代间隔中迭代对应的量化参数可以是一致的。也就是说，目标迭代间隔中的各次迭代均采用同一点位置，仅在各次检验迭代处更新确定点位置等量化参数，从而可以避免每次迭代都对量化参数进行更新调整，从而减少了量化过程中的计算量，提高了量化操作的效率。
可选地，针对上述数据位宽不变的情况，目标迭代间隔中迭代对应的点位置可以保持一致。具体地，处理器可以根据当前检验迭代的待量化数据和该当前检验迭代对应的目标数据位宽，确定当前检验迭代对应的点位置，并将该当前检验迭代对应的点位置作为该目标迭代间隔对应的点位置，该目标迭代间隔中迭代均沿用当前检验迭代对应的点位置。可选地，该当前检验迭代对应的目标数据位宽可以是超参数。例如，该当前检验迭代对应的目标数据位宽是由用户自定义输入的。该当前检验迭代对应的点位置可以参见上文的公式计算。
在一种情况下，该神经网络运算中的各次迭代对应的数据位宽可以发生变化，即不同目标迭代间隔对应的数据位宽可以不一致，但目标迭代间隔中各次迭代的数据位宽保持不变。其中，该目标迭代间隔中迭代对应的数据位宽可以是超参数，例如，该目标迭代间隔中迭代对应的数据位宽可以是用户自定义输入的。在一种情况下，该目标迭代间隔中迭代对应的数据位宽也可以是处理器计算获得的，例如，处理器可以根据当前检验迭代的待量化数据，确定当前检验迭代对应的目标数据位宽，并将该当前检验迭代对应的目标数据位宽作为目标迭代间隔对应的数据位宽。
此时，为简化量化过程中的计算量，该目标迭代间隔中对应的点位置等量化参数也可以保持不变。也就是说，目标迭代间隔中的各次迭代均采用同一点位置，仅在各次检验迭代处更新确定点位置等量化参数以及数据位宽，从而可以避免每次迭代都对量化参数进行更新调整，从而减少了量化过程中的计算量，提高了量化操作的效率。
可选地，针对上述目标迭代间隔对应的数据位宽不变的情况，目标迭代间隔中迭代对应的点位置可以保持一致。具体地，处理器可以根据当前检验迭代的待量化数据和该当前 检验迭代对应的目标数据位宽，确定当前检验迭代对应的点位置，并将该当前检验迭代对应的点位置作为该目标迭代间隔对应的点位置，该目标迭代间隔中迭代均沿用当前检验迭代对应的点位置。可选地，该当前检验迭代对应的目标数据位宽可以是超参数。例如，该当前检验迭代对应的目标数据位宽是由用户自定义输入的。该当前检验迭代对应的点位置可以参见上文的公式计算。
可选地，目标迭代间隔中迭代对应的缩放系数可以一致。处理器可以根据当前检验迭代的待量化数据，确定当前检验迭代对应的缩放系数，并将该当前检验迭代对应的缩放系数作为目标迭代间隔中各次迭代的缩放系数。其中，该目标迭代间隔中迭代对应的缩放系数一致。
可选地，目标迭代间隔中迭代对应的偏移量一致。处理器可以根据当前检验迭代的待量化数据，确定当前检验迭代对应的偏移量，并将该当前检验迭代对应的偏移量作为目标迭代间隔中各次迭代的偏移量。进一步地，处理器还可以确定待量化数据所有元素中的最小值和最大值，并进一步确定点位置和缩放系数等量化参数，具体可参见上文中的描述。该目标迭代间隔中迭代对应的偏移量一致。
例如，该目标迭代间隔可以从当前检验迭代开始计算迭代数量，即目标迭代间隔对应的检验迭代可以是目标迭代间隔的起始迭代。例如，当前检验迭代为第100次迭代，处理器根据待量化数据的数据变动幅度，确定目标迭代间隔的迭代间隔为3，则处理器可以确定该目标迭代间隔包括3次迭代，分别为第100次迭代、第101次迭代和第102次迭代。进而处理器可以根据第100次迭代对应的待量化数据和目标数据位宽，确定该第100次迭代对应的点位置等量化参数，并可以采用该第100次迭代对应的点位置等量化参数对第100次迭代、第101次迭代和第102次迭代进行量化。这样，处理器在第101次迭代和第102次迭代无需计算点位置等量化参数，减少了量化过程中的计算量，提高了量化操作的效率。
可选地，目标迭代间隔还可以是从当前检验迭代的下一次迭代开始计算迭代数量，即该目标迭代间隔对应的检验迭代也可以是该目标迭代间隔的终止迭代。例如，当前检验迭代为第100次迭代，处理器根据待量化数据的数据变动幅度，确定目标迭代间隔的迭代间隔为3。则处理器可以确定该目标迭代间隔包括3次迭代，分别为第101次迭代、第102次迭代和第103次迭代。进而处理器可以根据第100次迭代对应的待量化数据和目标数据位宽，确定该第100次迭代对应的点位置等量化参数，并可以采用该第100次迭代对应的点位置等量化参数对第101次迭代、第102次迭代和第103次迭代进行量化。这样，处理器在第102次迭代和第103次迭代无需计算点位置等量化参数，减少了量化过程中的计算量，提高了量化操作的效率。
本披露实施例中，同一目标迭代间隔中各次迭代对应的数据位宽及量化参数均一致，即同一目标迭代间隔中各次迭代对应的数据位宽、点位置、缩放系数及偏移量均保持不变，从而在神经网络的训练或微调过程中，可以避免频繁地调整待量化数据的量化参数，减少了量化过程中的计算量，从而可以提高量化效率。并且，通过在训练或微调的不同阶段根据数据变动幅度，动态地调整量化参数，可以保证量化精度。
在另一情况下，该神经网络运算中的各次迭代对应的数据位宽可以发生变化，但目标迭代间隔中各次迭代的数据位宽保持不变。此时，目标迭代间隔中迭代对应的点位置等量化参数也可以不一致。处理器还可以根据当前检验迭代对应的目标数据位宽，确定目标迭代间隔对应的数据位宽，其中，目标迭代间隔中迭代对应的数据位宽一致。之后，处理器可以根据该目标迭代间隔对应的数据位宽和点位置迭代间隔，调整神经网络运算过程中的点位置等量化参数。可选地，如图8R所示，示出本披露一实施例的量化参数调整方法中调整量化参数的方法800R的流程图，上述操作S300还可以包括：
S310、根据当前检验迭代的待量化数据，确定目标迭代间隔对应的数据位宽；其中，该目标迭代间隔中迭代对应的数据位宽一致。也就是说，神经网络运算过程中的数据位宽每隔一个目标迭代间隔更新一次。可选地，该目标迭代间隔对应的数据位宽可以为当前检验迭代的目标数据位宽。该当前检验迭代的目标数据位宽可参见上文中的操作S114和S115，此处不再赘述。
例如，该目标迭代间隔可以从当前检验迭代开始计算迭代数量，即目标迭代间隔对应的检验迭代可以是目标迭代间隔的起始迭代。例如，当前检验迭代为第100次迭代，处理器根据待量化数据的数据变动幅度，确定目标迭代间隔的迭代间隔为6，则处理器可以确定该目标迭代间隔包括6次迭代，分别为第100次迭代至第105次迭代。此时，处理器可以确定第100次迭代的目标数据位宽，且第101次迭代至第105次迭代沿用该第100次迭代的目标数据位宽，无需在第101次迭代至第105次迭代计算目标数据位宽，从而减少计算量，提高量化效率及运算效率。之后，第106次迭代可以作为当前检验迭代，并重复上述确定目标迭代间隔，以及更新数据位宽的操作。
可选地，目标迭代间隔还可以是从当前检验迭代的下一次迭代开始计算迭代数量，即该目标迭代间隔对应的检验迭代也可以是该目标迭代间隔的终止迭代。例如，当前检验迭代为第100次迭代，处理器根据待量化数据的数据变动幅度，确定目标迭代间隔的迭代间隔为6。则处理器可以确定该目标迭代间隔包括6次迭代，分别为第101次迭代至第106次迭代。此时，处理器可以确定第100次迭代的目标数据位宽，且第101次迭代至106次迭代沿用该第100次迭代的目标数据位宽，无需在第101次迭代至106次迭代计算目标数据位宽，从而减少计算量，提高量化效率及运算效率。之后，第106次迭代可以作为当前检验迭代，并重复上述确定目标迭代间隔，以及更新数据位宽的操作。
S320、处理器根据获取的点位置迭代间隔和所述目标迭代间隔对应的数据位宽，调整所述目标迭代间隔中迭代对应的点位置，以调整所述神经网络运算中的点位置等量化参数。
其中，所述点位置迭代间隔包含至少一次迭代，所述点位置迭代间隔中迭代的点位置一致。可选地，该点位置迭代间隔可以是超参数，例如，该点位置迭代间隔可以是用户自定义输入的。
可选地，所述点位置迭代间隔小于或等于所述目标迭代间隔。当该点位置迭代间隔与上述的目标迭代间隔相同时，处理器可以在当前检验迭代处同步更新数据位宽和点位置等量化参数。进一步可选地，目标迭代间隔中迭代对应的缩放系数可以一致。更进一步地， 目标迭代间隔中迭代对应的偏移量一致。此时，该目标迭代间隔中的迭代对应的数据位宽和点位置等量化参数均相同，从而可以降低计算量，提高量化效率和运算效率。具体实现过程与上述实施例基本一致，可参见上文的描述，此处不再赘述。
当点位置迭代间隔小于上述的目标迭代间隔时，处理器可以在目标迭代间隔对应的检验迭代处更新数据位宽和点位置等量化参数，并在该点位置迭代间隔确定的子检验迭代处更新点位置等量化参数。由于在数据位宽不变的情况下，点位置等量化参数可以根据待量化数据进行微调，因此，在同一目标迭代间隔内也可以对点位置等量化参数进行调整，以进一步提高量化精度。
具体地，处理器可以根据当前检验迭代和点位置迭代间隔确定子检验迭代，该子检验迭代用于调整点位置，该子检验迭代可以是目标迭代间隔中的迭代。进一步地，处理器可以根据子检验迭代的待量化数据和目标迭代间隔对应的数据位宽，调整目标迭代间隔中迭代对应的点位置，其中，点位置的确定方式可以参照上述的公式，此处不再赘述。
例如，当前检验迭代为第100次迭代，该目标迭代间隔为6，该目标迭代间隔包含的迭代为第100次迭代至第105次迭代。处理器获取的点位置迭代间隔为I s1＝3，则可以从当前检验迭代开始间隔三次迭代调整一次点位置。具体地，处理器可以将第100次迭代作为上述的子检验迭代，并计算获得该第100次迭代对应的点位置s1，在第100次迭代、第101次迭代和第102次迭代共用点位置s1进行量化。之后，处理器可以根据点位置迭代间隔I s1将第103次迭代作为上述的子检验迭代，同时处理器还可以根据第103次迭代对应的待量化数据和目标迭代间隔对应的数据位宽n确定第二个点位置迭代间隔对应的点位置s2，则在第103次迭代至第105次迭代中可以共用上述的点位置s2进行量化。本披露实施例中，上述的更新前的点位置s1与更新后的点位置s2的值可以相同，也可以不同。进一步地，处理器可以在第106次迭代重新根据待量化数据的数据变动幅度，确定下一目标迭代间隔以及该下一目标迭代间隔对应的数据位宽及点位置等量化参数。
再如，当前检验迭代为第100次迭代，该目标迭代间隔为6，该目标迭代间隔包含的迭代为第101次迭代至第106次迭代。处理器获取的点位置迭代间隔为I s1＝3，则可以从当前检验迭代开始间隔三次迭代调整一次点位置。具体地，处理器可以根据当前检验迭代的待量化数据和当前检验迭代对应的目标数据位宽n1，确定第一个点位置迭代间隔对应的点位置为s1，则在第101次迭代、第102次迭代和103次迭代共用上述的点位置s1进行量化。之后，处理器可以根据点位置迭代间隔I s1将第104次迭代作为上述的子检验迭代，同时处理器还可以根据第104次迭代对应的待量化数据和目标迭代间隔对应的数据位宽n1确定第二个点位置迭代间隔对应的点位置s2，则在第104次迭代至第106次迭代中可以共用上述的点位置s2进行量化。本披露实施例中，上述的更新前的点位置s1与更新后的点位置s2的值可以相同，也可以不同。进一步地，处理器可以在106次迭代重新根据待量化数据的数据变动幅度，确定下一目标迭代间隔以及该下一目标迭代间隔对应的数据位宽及点位置等量化参数。
可选地，该点位置迭代间隔可以等于1，即每次迭代均更新一次点位置。可选地，该点位置迭代间隔可以相同，也可以不同。例如，该目标迭代间隔包含的至少一个点位置迭 代间隔可以是依次增大的。此处仅以举例的说明本实施例的实现方式，并不用于限定本披露。
可选地，该目标迭代间隔中迭代对应的缩放系数也可以不一致。进一步可选地，该缩放系数可以与上述的点位置同步更新，也就是说，该缩放系数对应的迭代间隔可以等于上述的点位置迭代间隔。即每当处理器更新确定点位置时，会相应地更新确定缩放系数。
可选地，该目标迭代间隔中迭代对应的偏移量也可以不一致。进一步地，该偏移量可以与上述的点位置同步更新，也就是说，该偏移量对应的迭代间隔可以等于上述的点位置迭代间隔。即每当处理器更新确定点位置时，会相应地更新确定偏移量。当然，该偏移量也可以与上述地点位置或数据位宽异步更新，此处不做具体限定。更进一步地，处理器还可以确定待量化数据所有元素中的最小值和最大值，并进一步确定点位置和缩放系数等量化参数，具体可参见上文中的描述。
在另一种实施例中，处理器可以根据点位置的变动幅度和待量化数据的数据位宽的变化，综合确定待量化数据的数据变动幅度，并根据该待量化数据的数据变动幅度确定目标迭代间隔，其中，该目标迭代间隔可以用于更新确定数据位宽，即处理器可以在每个目标迭代间隔的检验迭代处更新确定数据位宽。由于点位置可以反映定点数据的精度，数据位宽可以反映定点数据的数据表示范围，因而通过综合点位置的变动幅度和待量化数据的数据位宽变化，可以保证量化后的数据既能够兼顾精度，也能够满足数据表示范围。可选地，点位置的变化幅度可以采用上述的第一误差进行表征，数据位宽的变化可以根据上述的量化误差进行确定。具体地，如图8S所示，示出本披露另一实施例的参数调整方法中目标迭代间隔的确定方法800S的流程图，上述方法可以包括：
S400、获取第一误差，第一误差能够表征点位置的变动幅度，该点位置的变动幅度可以表示待量化数据的数据变动幅度；具体地，上述第一误差的计算方式可参见上文中操作S110中的描述，此处不再赘述。
S500、获取第二误差，所述第二误差用于表征所述数据位宽的变化。
可选地，上述的第二误差可以根据量化误差进行确定，该第二误差与上述的量化误差正相关。具体地，如图8T所示，示出本披露又一实施例的参数调整方法中目标迭代间隔的确定方法800T的流程图，上述操作S500可以包括：
S510、根据所述当前检验迭代中待量化数据和所述当前检验迭代的量化数据，确定量化误差，其中，所述当前检验迭代的量化数据根据初始数据位宽对所述当前检验迭代的待量化数据进行量化获得。其中，具体的量化误差确定方式可参见上文中操作S114中的描述，此处不再赘述。
S520、根据所述量化误差确定所述第二误差，所述第二误差与所述量化误差正相关。
具体地，第二误差可以按照如下公式进行计算：
diff update2＝θ*diff bit 2       公式(44)
其中，diff update2表示上述的第二误差，diff bit表示上述的量化误差，θ可以为超参数。
返回图8S，在S600、根据所述第二误差和所述第一误差，确定所述目标迭代间隔。
具体地，处理器可以根据第一误差和第二误差计算获得目标误差，并根据目标误差确定目标迭代间隔。可选地，目标误差可以是第一误差和第二误差进行加权平均计算获得。例如，目标误差＝K*第一误差+(1-K)*第二误差，其中，K为超参数。之后，处理器可以根据该目标误差确定目标迭代间隔，目标迭代间隔与该目标误差负相关。即目标误差越大，目标迭代间隔越小。
可选地，该目标误差还可以根据第一误差和第二误差中的最值进行确定，此时第一误差或第二误差的权重取值为0。具体地，如图8T所示，上述操作S600可以包括：
S610、将所述第一误差和所述第二误差中最大值作为目标误差。
具体地，处理器可以比较第一误差diff update1和第二误差diff update2的大小，当第一误差diff update1大于第二误差diff update2时，则该目标误差等于第一误差diff update1。当第一误差diff update1小于第二误差时，则该目标误差等于第二误差diff update2。当第一误差diff update1等于第二误差时，则该目标误差可以时第一误差diff update1或第二误差diff update2。即目标误差diff update可以按照如下公式进行确定：
diff update＝max(diff update1，diff update2)       公式(45)
其中，diff update是指目标误差，diff update1是指第一误差，diff update2是指第二误差。
S620、根据所述目标误差确定所述目标迭代间隔，其中，所述目标误差与所述目标迭代间隔负相关。具体地，目标迭代间隔可以按照如下方式进行确定，
可以根据以下公式计算得到目标迭代间隔：
Figure PCTCN2019106801-appb-000090
其中，I表示目标迭代间隔，diff update表示上述的目标误差，δ和γ可以为超参数。
可选地，上述实施例中，神经网络运算中数据位宽可变，并可以通过第二误差衡量数据位宽的变化趋势。此种情况下，如图8T所示，处理器在确定目标迭代间隔后，可以执行操作S630，确定目标迭代间隔中迭代对应的数据位宽，其中，该目标迭代间隔中迭代对应的数据位宽一致。具体地，处理器可以根据当前检验迭代的待量化数据，确定目标迭代间隔对应的数据位宽。也就是说，神经网络运算过程中的数据位宽每隔一个目标迭代间隔更新一次。可选地，该目标迭代间隔对应的数据位宽可以为当前检验迭代的目标数据位宽。该当前检验迭代的目标数据位宽可参见上文中的操作S114和S115，此处不再赘述。
例如，该目标迭代间隔可以从当前检验迭代开始计算迭代数量，即目标迭代间隔对应的检验迭代可以是目标迭代间隔的起始迭代。例如，当前检验迭代为第100次迭代，处理器根据待量化数据的数据变动幅度，确定目标迭代间隔的迭代间隔为6，则处理器可以确定该目标迭代间隔包括6次迭代，分别为第100次迭代至第105次迭代。此时，处理器可以确定第100次迭代的目标数据位宽，且第101次迭代至第105次迭代沿用该第100次迭代的目标数据位宽，无需在第101次迭代至第105次迭代计算目标数据位宽，从而减少计算量，提高量化效率及运算效率。之后，第106次迭代可以作为当前检验迭代，并重复上述确定目标迭代间隔，以及更新数据位宽的操作。
可选地，目标迭代间隔还可以是从当前检验迭代的下一次迭代开始计算迭代数量，即该目标迭代间隔对应的检验迭代也可以是该目标迭代间隔的终止迭代。例如，当前检验迭代为第100次迭代，处理器根据待量化数据的数据变动幅度，确定目标迭代间隔的迭代间隔为6。则处理器可以确定该目标迭代间隔包括6次迭代，分别为第101次迭代至第106次迭代。此时，处理器可以确定第100次迭代的目标数据位宽，且第101次迭代至106次迭代沿用该第100次迭代的目标数据位宽，无需在第101次迭代至106次迭代计算目标数据位宽，从而减少计算量，提高量化效率及运算效率。之后，第106次迭代可以作为当前检验迭代，并重复上述确定目标迭代间隔，以及更新数据位宽的操作。
再进一步地，处理器还可以在检验迭代处确定目标迭代间隔中的量化参数，以根据目标迭代间隔调整神经网络运算中的量化参数。即该神经网络运算中的点位置等量化参数可以与数据位宽同步更新。
在一种情况下，该目标迭代间隔中迭代对应的量化参数可以是一致的。可选地，处理器可以根据当前检验迭代的待量化数据和该当前检验迭代对应的目标数据位宽，确定当前检验迭代对应的点位置，并将该当前检验迭代对应的点位置作为该目标迭代间隔对应的点位置，其中该目标迭代间隔中迭代对应的点位置一致。也就是说，目标迭代间隔中的各次迭代均沿用当前检验迭代的点位置等量化参数，避免了每次迭代都对量化参数进行更新调整，从而减少了量化过程中的计算量，提高了量化操作的效率。
可选地，目标迭代间隔中迭代对应的缩放系数可以一致。处理器可以根据当前检验迭代的待量化数据，确定当前检验迭代对应的缩放系数，并将该当前检验迭代对应的缩放系数作为目标迭代间隔中各次迭代的缩放系数。其中，该目标迭代间隔中迭代对应的缩放系数一致。
可选地，目标迭代间隔中迭代对应的偏移量一致。处理器可以根据当前检验迭代的待量化数据，确定当前检验迭代对应的偏移量，并将该当前检验迭代对应的偏移量作为目标迭代间隔中各次迭代的偏移量。进一步地，处理器还可以确定待量化数据所有元素中的最小值和最大值，并进一步确定点位置和缩放系数等量化参数，具体可参见上文中的描述。该目标迭代间隔中迭代对应的偏移量一致。
例如，该目标迭代间隔可以从当前检验迭代开始计算迭代数量，即目标迭代间隔对应的检验迭代可以是目标迭代间隔的起始迭代。例如，当前检验迭代为第100次迭代，处理器根据待量化数据的数据变动幅度，确定目标迭代间隔的迭代间隔为3，则处理器可以确定该目标迭代间隔包括3次迭代，分别为第100次迭代、第101次迭代和第102次迭代。进而处理器可以根据第100次迭代对应的待量化数据和目标数据位宽，确定该第100次迭代对应的点位置等量化参数，并可以采用该第100次迭代对应的点位置等量化参数对第100次迭代、第101次迭代和第102次迭代进行量化。这样，处理器在第101次迭代和第102次迭代无需计算点位置等量化参数，减少了量化过程中的计算量，提高了量化操作的效率。
可选地，目标迭代间隔还可以是从当前检验迭代的下一次迭代开始计算迭代数量，即该目标迭代间隔对应的检验迭代也可以是该目标迭代间隔的终止迭代。例如，当前检验迭 代为第100次迭代，处理器根据待量化数据的数据变动幅度，确定目标迭代间隔的迭代间隔为3。则处理器可以确定该目标迭代间隔包括3次迭代，分别为第101次迭代、第102次迭代和第103次迭代。进而处理器可以根据第100次迭代对应的待量化数据和目标数据位宽，确定该第100次迭代对应的点位置等量化参数，并可以采用该第100次迭代对应的点位置等量化参数对第101次迭代、第102次迭代和第103次迭代进行量化。这样，处理器在第102次迭代和第103次迭代无需计算点位置等量化参数，减少了量化过程中的计算量，提高了量化操作的效率。
本披露实施例中，同一目标迭代间隔中各次迭代对应的数据位宽及量化参数均一致，即同一目标迭代间隔中各次迭代对应的数据位宽、点位置、缩放系数及偏移量均保持不变，从而在神经网络的训练或微调过程中，可以避免频繁地调整待量化数据的量化参数，减少了量化过程中的计算量，从而可以提高量化效率。并且，通过在训练或微调的不同阶段根据数据变动幅度，动态地调整量化参数，可以保证量化精度。
在另一种情况下，处理器还可以根据点位置等量化参数对应的点位置迭代间隔确定目标迭代间隔中的量化参数，以根据调整神经网络运算中的量化参数。即该神经网络运算中的点位置等量化参数可以与数据位宽异步更新，处理器可以在目标迭代间隔的检验迭代处更新数据位宽和点位置等量化参数，处理器还可以根据点位置迭代间隔单独更新目标迭代间隔中迭代对应的点位置。
具体地，处理器还可以根据当前检验迭代对应的目标数据位宽，确定目标迭代间隔对应的数据位宽，其中，目标迭代间隔中迭代对应的数据位宽一致。之后，处理器可以根据该目标迭代间隔对应的数据位宽和点位置迭代间隔，调整神经网络运算过程中的点位置等量化参数。即如图8T所示，在确定目标迭代间隔对应的数据位宽之后，处理器还可以执行操作S640，根据获取的点位置迭代间隔和所述目标迭代间隔对应的数据位宽，调整所述目标迭代间隔中迭代对应的点位置，以调整所述神经网络运算中的点位置。其中，所述点位置迭代间隔包含至少一次迭代，所述点位置迭代间隔中迭代的点位置一致。可选地，该点位置迭代间隔可以是超参数，例如，该点位置迭代间隔可以是用户自定义输入的。
可选地，所述点位置迭代间隔小于或等于所述目标迭代间隔。当该点位置迭代间隔与上述的目标迭代间隔相同时，处理器可以在当前检验迭代处同步更新数据位宽和点位置等量化参数。进一步可选地，目标迭代间隔中迭代对应的缩放系数可以一致。更进一步地，目标迭代间隔中迭代对应的偏移量一致。此时，该目标迭代间隔中的迭代对应的数据位宽和点位置等量化参数均相同，从而可以降低计算量，提高量化效率和运算效率。具体实现过程与上述实施例基本一致，可参见上文的描述，此处不再赘述。
当点位置迭代间隔小于上述的目标迭代间隔时，处理器可以在目标迭代间隔对应的检验迭代处更新数据位宽和点位置等量化参数，并在该点位置迭代间隔确定的子检验迭代处更新点位置等量化参数。由于在数据位宽不变的情况下，点位置等量化参数可以根据待量化数据进行微调，因此，在同一目标迭代间隔内也可以对点位置等量化参数进行调整，以进一步提高量化精度。
具体地，处理器可以根据当前检验迭代和点位置迭代间隔确定子检验迭代，该子检验迭代用于调整点位置，该子检验迭代可以是目标迭代间隔中的迭代。进一步地，处理器可以根据子检验迭代的待量化数据和目标迭代间隔对应的数据位宽，调整目标迭代间隔中迭代对应的点位置，其中，点位置的确定方式可以参照上述的公式，此处不再赘述。
例如，当前检验迭代为第100次迭代，该目标迭代间隔为6，该目标迭代间隔包含的迭代为第100次迭代至第105次迭代。处理器获取的点位置迭代间隔为I s1＝3，则可以从当前检验迭代开始间隔三次迭代调整一次点位置。具体地，处理器可以将第100次迭代作为上述的子检验迭代，并计算获得该第100次迭代对应的点位置s1，在第100次迭代、第101次迭代和第102次迭代共用点位置s1进行量化。之后，处理器可以根据点位置迭代间隔I s1将第103次迭代作为上述的子检验迭代，同时处理器还可以根据第103次迭代对应的待量化数据和目标迭代间隔对应的数据位宽n确定第二个点位置迭代间隔对应的点位置s2，则在第103次迭代至第105次迭代中可以共用上述的点位置s2进行量化。本披露实施例中，上述的更新前的点位置s1与更新后的点位置s2的值可以相同，也可以不同。进一步地，处理器可以在第106次迭代重新根据待量化数据的数据变动幅度，确定下一目标迭代间隔以及该下一目标迭代间隔对应的数据位宽及点位置等量化参数。
再如，当前检验迭代为第100次迭代，该目标迭代间隔为6，该目标迭代间隔包含的迭代为第101次迭代至第106次迭代。处理器获取的点位置迭代间隔为I s1＝3，则可以从当前检验迭代开始间隔三次迭代调整一次点位置。具体地，处理器可以根据当前检验迭代的待量化数据和当前检验迭代对应的目标数据位宽n1，确定第一个点位置迭代间隔对应的点位置为s1，则在第101次迭代、第102次迭代和103次迭代共用上述的点位置s1进行量化。之后，处理器可以根据点位置迭代间隔I s1将第104次迭代作为上述的子检验迭代，同时处理器还可以根据第104次迭代对应的待量化数据和目标迭代间隔对应的数据位宽n1确定第二个点位置迭代间隔对应的点位置s2，则在第104次迭代至第106次迭代中可以共用上述的点位置s2进行量化。本披露实施例中，上述的更新前的点位置s1与更新后的点位置s2的值可以相同，也可以不同。进一步地，处理器可以在第106次迭代重新根据待量化数据的数据变动幅度，确定下一目标迭代间隔以及该下一目标迭代间隔对应的数据位宽及点位置等量化参数。
可选地，该点位置迭代间隔可以等于1，即每次迭代均更新一次点位置。可选地，该点位置迭代间隔可以相同，也可以不同。例如，该目标迭代间隔包含的至少一个点位置迭代间隔可以是依次增大的。此处仅以举例的说明本实施例的实现方式，并不用于限定本披露。
可选地，该目标迭代间隔中迭代对应的缩放系数也可以不一致。进一步可选地，该缩放系数可以与上述的点位置可以同步更新，也就是说，该缩放系数对应的迭代间隔可以等于上述的点位置迭代间隔。即每当处理器更新确定点位置时，会相应的更新确定缩放系数。
可选地，该目标迭代间隔中迭代对应的偏移量也可以不一致。进一步地，该偏移量可以与上述的点位置可以同步更新，也就是说，该偏移量对应的迭代间隔可以等于上述的点 位置迭代间隔。即每当处理器更新确定点位置时，会相应地更新确定偏移量。当然，该偏移量也可以与上述地点位置或数据位宽异步更新，此处不做具体限定。更进一步地，处理器还可以确定待量化数据所有元素中的最小值和最大值，并进一步确定点位置和缩放系数等量化参数，具体可参见上文中的描述。
在其他可选的实施例中，点位置、缩放系数和偏移量三个量化参数之间也可以是异步的，即点位置迭代间隔、缩放系数迭代间隔和偏移量迭代间隔中的一个或三个均不相同。其中，点位置迭代间隔和缩放系数迭代间隔均小于或等于目标迭代间隔。偏移量迭代间隔可以小于目标迭代间隔。由于偏移量只与待量化数据的分布相关，因此，在一种可选的实施方式中，该偏移量也可以与目标迭代间隔完全异步，即偏移量迭代间隔也可以大于目标迭代间隔。
在一种可选的实施例中，上述的方法可以用于神经网络的训练或微调过程中，以实现对神经网络微调或训练过程涉及的运算数据的量化参数进行调整，以提高神经网络运算过程中涉及的运算数据的量化精度及效率。该运算数据可以是神经元数据、权值数据或梯度数据中的至少一种。如图8L所示，根据待量化数据的数据变动曲线可知，在训练或微调的初期阶段，各次迭代的待量化数据之间的差异性较大，待量化数据的数据变动幅度较为剧烈，此时可以目标迭代间隔的值可以较小，以及时地更新目标迭代间隔中的量化参数，保证量化精度。在训练或微调的中期阶段，待量化数据的数据变动幅度逐渐趋于平缓，此时可以增大目标迭代间隔的值，以避免频繁地更新量化参数，以提高量化效率及运算效率。在训练或微调的后期阶段，此时神经网络的训练或微调趋于稳定(即当神经网络的正向运算结果趋近于预设参考值时，该神经网络的训练或微调趋于稳定)，此时可以继续增大目标迭代间隔的值，以进一步提高量化效率及运算效率。基于上述数据变动趋势，可以在神经网络的训练或微调的不同阶段采用不同的方式确定目标迭代间隔，以在保证量化精度的基础上，提高量化效率及运算效率。
具体地，如图8U所示，示出本披露又一实施例的量化参数调整方法800U的流程图。当该方法用于神经网络的训练或微调过程中时，该方法还可以包括：
S710、处理器确定当前迭代是否大于第一预设迭代；
其中，当前迭代是指处理器当前执行的迭代运算。可选地，该第一预设迭代可以是超参数，该第一预设迭代可以是根据待量化数据的数据变动曲线确定的，该第一预设迭代也可以是用户自定义设置的。可选地，该第一预设迭代可以小于一个训练周期(epoch)包含的迭代总数，其中，一个训练周期是指数据集中的所有待量化数据均完成一次正向运算和一次反向运算。
在所述当前迭代小于或等于所述第一预设迭代时，则处理器可以执行操作S711，将第一预设迭代间隔作为所述目标迭代间隔，并根据所述第一预设迭代间隔调整量化参数。
可选地，处理器可以读取用户输入的第一预设迭代，并根据该第一预设迭代与第一预设迭代间隔的对应关系，确定第一预设迭代间隔。可选地，该第一预设迭代间隔可以是超参数，该第一预设迭代间隔也可以是用户自定义设置的。此时，处理器可以直接读取用户 输入的第一预设迭代和第一预设迭代间隔，并根据该第一预设迭代间隔更新神经网络运算中的量化参数。本披露实施例中，处理器无需根据待量化数据的数据变动幅度，确定目标迭代间隔。
例如，用户输入的第一预设迭代为第100次迭代，第一预设迭代间隔为5，则在当前迭代小于或等于第100次迭代时，可以根据第一预设迭代间隔更新量化参数。即处理器可以确定在神经网络的训练或微调的第1次迭代至第100次迭代，每间隔5次迭代更新一次量化参数。具体地，处理器可以确定第1次迭代对应的数据位宽n1及点位置s1等量化参数，并采用该数据位宽n1和点位置s1等量化参数对第1次迭代至第5次迭代的待量化数据进行量化，即第1次迭代至第5次迭代可以采用相同的量化参数。之后，处理器可以确定第6次迭代对应的数据位宽n2及点位置s2等量化参数，并采用该数据位宽n2和点位置s2等量化参数对第6次迭代至第10次迭代的待量化数据进行量化，即第6次迭代至第10次迭代可以采用相同的量化参数。同理，处理器可以按照上述量化方式直至完成第100次迭代。其中，每个迭代间隔中数据位宽及点位置等量化参数的确定方式可以参见上文的描述，此处不再赘述。
再如，用户输入的第一预设迭代为第100次迭代，第一预设迭代间隔为1，则在当前迭代小于或等于第100次迭代时，可以根据第一预设迭代间隔更新量化参数。即处理器可以确定在神经网络的训练或微调的第1次迭代至第100次迭代，每次迭代均更新量化参数。具体地，处理器可以确定第1次迭代对应的数据位宽n1及点位置s1等量化参数，并采用该数据位宽n1和点位置s1等量化参数对第1次迭代的待量化数据进行量化。之后，处理器可以确定第2次迭代对应的数据位宽n2及点位置s2等量化参数，并采用该数据位宽n2和点位置s2等量化参数对第2次迭代的待量化数据进行量化，……。同理，处理器可以确定出第100次迭代的数据位宽n100以及点位置s100等量化参数，并采用该数据位宽n100和点位置s100等量化参数对第100次迭代的待量化数据进行量化。其中，每个迭代间隔中数据位宽及点位置等量化参数的确定方式可以参见上文的描述，此处不再赘述。
上文仅以数据位宽和量化参数同步更新的方式举例说明，在其他可选的实施例中，在每个目标迭代间隔中，处理器还可以根据点位置的变动幅度确定点位置的迭代间隔，并根据该点位置迭代间隔更新点位置等量化参数。
可选地，在当前迭代大于第一预设迭代时，可以表明神经网络的训练或微调处于中期阶段，此时可以获得历史迭代的待量化数据的数据变动幅度，并根据该待量化数据的数据变动幅度确定目标迭代间隔，该目标迭代间隔可以大于上述的第一预设迭代间隔，从而可以减少量化参数的更新次数，提高量化效率及运算效率。具体地，在所述当前迭代大于第一预设迭代时，则处理器可以执行操作S713，根据所述待量化数据的数据变动幅度确定目标迭代间隔，并根据所述目标迭代间隔调整量化参数。
承接上例，用户输入的第一预设迭代为第100次迭代，第一预设迭代间隔为1，则在当前迭代小于或等于第100次迭代时，可以根据第一预设迭代间隔更新量化参数。即处理器可以确定在神经网络的训练或微调的第1次迭代至第100次迭代，每次迭代均更新量化参数， 具体实现方式可以参见上文中的描述。在当前迭代大于第100次迭代时，处理器可以根据当前迭代的待量化数据及其之前的历史迭代的待量化数据，确定待量化数据的数据变动幅度，并根据该待量化数据的数据变动幅度确定目标迭代间隔。具体地，在当前迭代大于第100次迭代时，处理器可以自适应地调整当前迭代对应的数据位宽，获得该当前迭代对应的目标数据位宽，并将该当前迭代对应的目标数据位宽作为目标迭代间隔的数据位宽，其中，目标迭代间隔中迭代对应的数据位宽一致。同时，处理器可以根据当前迭代对应的目标数据位宽和待量化数据，确定当前迭代对应的点位置，并根据当前迭代对应的点位置确定第一误差。处理器还可以根据当前迭代对应的待量化数据，确定量化误差，并根据量化误差确定第二误差。之后，处理器可以根据第一误差和第二误差确定目标迭代间隔，该目标迭代间隔可以大于上述的第一预设迭代间隔。进一步地，处理器可以确定目标迭代间隔中的点位置或缩放系数等量化参数，具体确定方式可参见上文中的描述。
例如，当前迭代为第100次迭代，处理器根据待量化数据的数据变动幅度，确定目标迭代间隔的迭代间隔为3，则处理器可以确定该目标迭代间隔包括3次迭代，分别为第100次迭代、第101次迭代和第102次迭代。处理器还可以根据第100次迭代的待量化数据确定量化误差，并根据量化误差确定第二误差和第100次迭代对应的目标数据位宽，将该目标数据位宽作为目标迭代间隔对应的数据位宽，其中，第100次迭代、第101次迭代和第102次迭代对应的数据位宽均为该第100次迭代对应的目标数据位宽。处理器还可以根据该第100次迭代的待量化数据和该第100次迭代对应的目标数据位宽确定该第100次迭代对应的点位置和缩放系数等量化参数。之后，采用该第100次迭代对应的量化参数对第100次迭代、第101次迭代和第102次迭代进行量化。
进一步地，如图8V所示，示出本披露再一实施例的量化参数调整方法800V的流程图，上述方法还可以包括：
在当前迭代大于第一预设迭代时，处理器还可以执行操作S712，即处理器可以进一步确定当前迭代是否大于第二预设迭代。其中，所述第二预设迭代大于所述第一预设迭代，所述第二预设迭代间隔大于所述第一预设迭代间隔。可选地，上述第二预设迭代可以是超参数，第二预设迭代可以大于至少一个训练周期的迭代总数。可选地，第二预设迭代可以根据待量化数据的数据变动曲线确定。可选地，第二预设迭代也可以是用户自定义设置的。
在所述当前迭代大于或等于第二预设迭代时，则处理器可以执行操作S714，将第二预设迭代间隔作为所述目标迭代间隔，并根据所述第二预设迭代间隔调整所述神经网络量化过程中的参数。在当前迭代大于第一预设迭代，且当前迭代小于第二预设迭代时，则处理器可以执行上述的操作S713，根据所述待量化数据的数据变动幅度确定目标迭代间隔，并根据所述目标迭代间隔调整量化参数。
可选地，处理器可以读取用户设置的第二预设迭代，并根据第二预设迭代与第二预设迭代间隔的对应关系，确定第二预设迭代间隔，该第二预设迭代间隔大于第一预设迭代间隔。可选地，当所述神经网络的收敛程度满足预设条件时，则确定所述当前迭代大于或等于第二预设迭代。例如，在当前迭代的正向运算结果趋近于预设参考值时，可以确定该神 经网络的收敛程度满足预设条件，此时可以确定当前迭代大于或等于第二预设迭代。或者，在当前迭代对应的损失值小于或等于预设阈值时，则可以确定该神经网络的收敛程度满足预设条件。
可选地，上述的第二预设迭代间隔可以是超参数，该第二预设迭代间隔可以大于或等于至少一个训练周期的迭代总数。可选地，该第二预设迭代间隔可以是用户自定义设置的。处理器可以直接读取用户输入的第二预设迭代和第二预设迭代间隔，并根据该第二预设迭代间隔更新神经网络运算中的量化参数。例如，该第二预设迭代间隔可以等于一个训练周期的迭代总数，即每个训练周期(epoch)更新一次量化参数。
再进一步地，上述方法还包括：
当所述当前迭代大于或等于第二预设迭代，处理器还可以在每次检验迭代处确定当前数据位宽是否需要调整。如果当前数据位宽需要调整，则处理器可以从上述的操作S714切换至操作S713，以重新确定数据位宽，使得数据位宽能够满足待量化数据的需求。
具体地，处理器可以根据上述的第二误差确定数据位宽是否需要调整。处理器还可以执行上述操作S715，确定第二误差是否大于预设误差值，当所述当前迭代大于或等于第二预设迭代且所述第二误差大于预设误差值时，则切换执行操作S713，根据所述待量化数据的数据变动幅度确定迭代间隔，以根据所述迭代间隔重新确定所述数据位宽。若当前迭代大于或等于第二预设迭代，且第二误差小于或等于预设误差值，则继续执行操作S714，将第二预设迭代间隔作为所述目标迭代间隔，并根据所述第二预设迭代间隔调整所述神经网络量化过程中的参数。其中，预设误差值可以是根据量化误差对应的预设阈值确定的，当第二误差大于预设误差值时，此时说明数据位宽可能需要进一步调整，处理器可以根据所述待量化数据的数据变动幅度确定迭代间隔，以根据所述迭代间隔重新确定所述数据位宽。
例如，第二预设迭代间隔为一个训练周期的迭代总数。在当前迭代大于或等于第二预设迭代时，处理器可以按照第二预设迭代间隔更新量化参数，即每个训练周期(epoch)更新一次量化参数。此时，每个训练周期的起始迭代作为一个检验迭代，在每个训练周期的起始迭代处，处理器可以根据该检验迭代的待量化数据确定量化误差，根据量化误差确定第二误差，并根据如下公式确定第二误差是否大于预设误差值：
diff update2＝θ*diff bit 2>T
其中，diff update2表示第二误差，diff bit表示量化误差，θ表示超参数，T表示预设误差值。可选地，该预设误差值可以等于第一预设阈值除以超参数。当然，该预设误差值也可以是超参数。例如，该预设误差值可以按照如下公式计算获得：T＝th/10，其中，th表示第一预设阈值，超参数的取值为10。
若第二误差diff update2大于预设误差值T，则说明数据位宽可能不能满足预设要求，此时，可以不再采用第二预设迭代间隔更新量化参数，处理器可以按照待量化数据的数据变动幅度确定目标迭代间隔，以保证数据位宽满足预设要求。即在第二误差diff update2大于预设误差值T时，处理器从上述的操作S714切换至上述的操作S713。
当然，在其他实施例中，处理器可以根据上述的量化误差，确定数据位宽是否需要调 整。例如，第二预设迭代间隔为一个训练周期的迭代总数。在当前迭代大于或等于第二预设迭代时，处理器可以按照第二预设迭代间隔更新量化参数，即每个训练周期(epoch)更新一次量化参数。其中，每个训练周期的起始迭代作为一个检验迭代。在每个训练周期的起始迭代处，处理器可以根据该检验迭代的待量化数据确定量化误差，并在该量化误差大于或等于第一预设阈值时，则说明数据位宽可能不能满足预设要求，即处理器从上述的操作S714切换至上述的操作S713。
在一个可选的实施例中，上述的点位置、缩放系数和偏移量等量化参数可以通过显示装置进行显示。此时，用户可以通过显示装置获知神经网络运算过程中的量化参数，用户还可以自适应修改处理器确定的量化参数。同理，上述的数据位宽和目标迭代间隔等也可以通过显示装置进行显示。此时，用户可以通过显示装置获知神经网络运算过程中的目标迭代间隔和数据位宽等参数，用户还可以自适应修改处理器确定的目标迭代间隔和数据位宽等参数。
需要说明的是，关于上述确定数据位宽的目标迭代间隔和量化参数的目标迭代间隔均仅仅是例举的部分情况，而不是穷举，本领域技术人员在理解本披露技术方案的精髓的情况下，可能会在本披露技术方案的基础上产生其它的变形或者变换，比如：在确定数据位宽的目标迭代间隔内再确定量化参数的目标迭代间隔也适用于图6、图7和图8A所示的技术方案。但只要其实现的功能以及达到的技术效果与本披露类似，那么均应当属于本披露的保护范围。
利用本技术方案确定量化参数，根据量化误差对数据位宽或量化参数进行调整，并确定了对数据位宽或量化参数是否调整的目标迭代间隔，达到神经网络运算过程中在适合的时间点对数据位宽或量化参数进行调整，使得在合适的迭代时间点使用合适的量化参数，实现人工智能处理器芯片执行神经网络运算达到定点运算的速度，提升了人工智能处理器芯片的峰值算力的同时满足运算所需的浮点运算的精度。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本披露并不受所描述的动作顺序的限制，因为依据本披露，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于可选实施例，所涉及的动作和模块并不一定是本披露所必须的。
进一步需要说明的是，虽然图2、图6、图7、图8A至图8V的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2、图6、图7、图8A至图8V中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
如图9所示，为本披露提出的一种神经网络的量化参数确定装置的硬件配置的框图。 在图9中，神经网络的量化参数确定装置10可以包括处理器110和存储器120。在图9的神经网络的量化参数确定装置10中，仅示出了与本实施例有关的组成元素。因此，对于本领域普通技术人员而言显而易见的是：神经网络的量化参数确定装置10还可以包括与图10中所示的组成元素不同的常见组成元素。比如：定点运算器。
神经网络的量化参数确定装置10可以对应于具有各种处理功能的计算设备，例如，用于生成神经网络、训练或学习神经网络、将浮点型神经网络量化为定点型神经网络、或者重新训练神经网络的功能。例如，神经网络的量化参数确定装置10可以被实现为各种类型的设备，例如个人计算机(PC)、服务器设备、移动设备等。
处理器110控制神经网络的量化参数确定装置10的所有功能。例如，处理器110通过执行神经网络的量化参数确定装置10上的存储器120中存储的程序，来控制神经网络的量化参数确定装置10的所有功能。处理器110可以由神经网络的量化参数确定装置10中提供的中央处理单元(CPU)、图形处理单元(GPU)、应用处理器(AP)、人工智能处理器芯片(IPU)等来实现。然而，本披露并不限于此。
存储器120是用于存储神经网络的量化参数确定装置10中处理的各种数据的硬件。例如，存储器120可以存储神经网络的量化参数确定装置10中的处理过的数据和待处理的数据。存储器120可存储处理器110已处理或要处理的神经网络运算过程中涉及的数据集，例如，未训练的初始神经网络的数据、在训练过程中生成的神经网络的中间数据、完成了所有训练的神经网络的数据、经量化的神经网络的数据等。此外，存储器120可以存储要由神经网络的量化参数确定装置10驱动的应用、驱动程序等。例如：存储器120可以存储与将由处理器110执行的神经网络的训练算法、量化算法等有关的各种程序。存储器120可以是DRAM，但是本披露不限于此。存储器120可以包括易失性存储器或非易失性存储器中的至少一种。非易失性存储器可以包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)、闪存、相变RAM(PRAM)、磁性RAM(MRAM)、电阻RAM(RRAM)、铁电RAM(FRAM)等。易失性存储器可以包括动态RAM(DRAM)、静态RAM(SRAM)、同步DRAM(SDRAM)、PRAM、MRAM、RRAM、铁电RAM(FeRAM)等。在实施例中，存储器120可以包括硬盘驱动器(HDD)、固态驱动器(SSD)、高密度闪存(CF)、安全数字(SD)卡、微安全数字(Micro-SD)卡、迷你安全数字(Mini-SD)卡、极限数字(xD)卡、高速缓存(caches)或记忆棒中的至少一项。
处理器110可以通过反复训练(学习)给定的初始神经网络来生成经训练的神经网络。在这种状态下，在保证神经网络的处理准确度的意义上，初始神经网络的参数为高精度数据表示格式，例如具有32比特浮点精度的数据表示格式。参数可以包括向/从神经网络输入/输出的各种类型的数据，例如：神经网络的输入/输出神经元、权值、偏置等。与定点运算相比，浮点运算过程中需要相对大量的运算和相对频繁的存储器访问。具体而言，神经网络处理所需的大部分运算已知为各种卷积运算。因此，在具有相对低的处理性能的移动设备(诸如智能电话、平板电脑、可穿戴设备等、嵌入式设备等)中，神经网络高精度数 据运算会使得移动设备的资源没有充分利用。结果是，为了在允许的精度损失范围内驱动神经网络运算，充分减少上述设备中的运算量，可以对在神经网络运算过程中涉及的高精度数据进行量化，转换为低精度的定点数。
考虑到部署神经网络的例如移动设备、嵌入式设备等设备的处理性能，神经网络的量化参数确定装置10执行将经训练的神经网络的参数转换为具有特定比特数的定点型的量化，并且神经网络的量化参数确定装置10向部署神经网络的设备发送对应的量化参数，使得在人工智能处理器芯片执行训练、微调等运算操作时为定点数运算操作。部署神经网络的设备可以是通过使用神经网络来执行语音识别、图像识别等的自主车辆、机器人、智能电话、平板设备、增强现实(AR)设备、物联网(IoT)设备等，但是本披露不限于此。
处理器110从存储器120中获取神经网络运算过程中的数据。该数据包括神经元、权值、偏置和梯度中的至少一种数据，利用图2所示的技术方案确定对应的量化参数，利用量化参数对神经网络运算过程中的目标数据进行量化。将量化后的数据执行神经网络运算操作。该运算操作包括但不限于训练、微调、推理。
处理器110根据量化误差diff bit对数据位宽n进行调整，且处理器110可以执行图6、图7和图8所示的目标迭代间隔的方法的程序去确定数据位宽的目标迭代间隔或量化参数的目标迭代间隔。
综上，本说明书实施方式提供的一种神经网络的量化参数确定装置，其存储器120和处理器110实现的具体功能，可以与本说明书中的前述实施方式相对照解释，并能够达到前述实施方式的技术效果，这里便不再赘述。
在本实施方式中，所述处理器110可以按任何适当的方式实现。例如，所述处理器110可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application Specific Integrated Circuit，ASIC)、可编程逻辑控制器和嵌入微控制器的形式等等。
如图10所示，为本披露提出的神经网络的量化参数确定装置应用于人工智能处理器芯片的应用示意图。参考图10，如上所述，在诸如PC、服务器等神经网络的量化参数确定装置10中，处理器110执行量化操作，将神经网络运算过程中涉及的浮点数据量化为定点数，人工智能处理器芯片上的定点运算器采用量化获得的定点数执行训练、微调或推理。人工智能处理器芯片是用于驱动神经网络的专用硬件。由于人工智能处理器芯片是以相对较低的功率或性能实现的，利用本技术方案采用低精度的定点数实现神经网络运算，与高精度数据相比，读取低精度的定点数时所需内存带宽更小，可以更好的使用人工智能处理器芯片的caches，避免访存瓶颈。同时，在人工智能处理器芯片上执行SIMD指令时，在一个时钟周期内实现更多计算，达到更快地执行神经网络运算操作。
进一步地，面对同样长度的定点运算和高精度数据运算，尤其是定点运算和浮点运算之间比对可知，浮点运算计算模式更为复杂，需要更多的逻辑器件来构成浮点运算器。这样从体积上来说，浮点运算器的体积比定点运算器的体积要大。并且，浮点运算器需要消耗更多的资源去处理，达到定点运算和浮点运算二者之间的功耗差距通常是数量级的。
综上所述，本技术方案能够让人工智能处理器芯片上的浮点运算器更换为定点运算器，使得人工智能处理器芯片的功耗更低。这一点对于移动设备尤其重要。也就是说，本技术方案打开了一扇通向大量不能高效运行浮点计算代码的嵌入式系统的大门，让物联网世界广泛应用成为可能。
在本技术方案中，人工智能处理器芯片可以对应于例如神经处理单元(NPU)、张量处理单元(TPU)、神经引擎等，它们是用于驱动神经网络的专用芯片，但是本披露不限于此。
在本技术方案中，人工智能处理器芯片可以在独立于神经网络的量化参数确定装置10的单独设备中实现，神经网络的量化参数确定装置10也可以作为人工智能处理器芯片的一部分功能模块来实现。但是本披露不限于此。
在本技术方案中，通用处理器(比如CPU)的操作系统基于本技术方案生成指令，将生成的指令发送至人工智能处理器芯片(比如GPU)上，由人工智能处理器芯片去执行指令操作实现神经网络的量化参数的确定以及量化过程。还有一种应用情况，通用处理器基于本技术方案直接确定对应的量化参数，通用处理器直接根据量化参数将对应的目标数据进行量化，人工智能处理器芯片利用量化后的数据执行定点运算操作。更甚者，通用处理器(比如CPU)和人工智能处理器芯片(比如GPU)流水化操作，通用处理器(比如CPU)的操作系统基于本技术方案生成指令，且对目标数据进行拷贝的同时人工智能处理器芯片(比如GPU)进行神经网络运算操作，这样可以把某些时间消耗隐藏起来。但是本披露不限于此。
在本实施例中，本披露实施例还提供一种可读存储介质，其上存储有计算机程序，所述计算机程序被执行时实现上述所述的神经网络的量化参数确定方法。
由上可见，在神经网络运算过程中，量化时利用本披露的技术方案确定量化参数，该量化参数用于人工智能处理器对神经网络运算过程中的数据进行量化，将高精度数据转换为低精度定点数，可以减少神经网络运算过程中涉及的数据存储所有的空间大小。例如：float32转化为fix8可以将模型参数减少4倍。由于数据存储空间变小，使得神经网络部署时使用更小的空间，使得人工智能处理器芯片上的片上内存可以容纳更多的数据，减少了人工智能处理器芯片访存数据，提高计算性能。
本领域技术人员也知道，除了以纯计算机可读程序代码方式实现客户端和服务器以外，完全可以通过将方法步骤进行逻辑编程来使得客户端和服务器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种客户端和服务器可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
如图11所示，为本披露提出的一种神经网络的量化参数确定设备的功能框图。所述方法包括：
统计单元a，用于统计待量化数据，确定每种待量化数据的统计结果；其中，所述待量化数据包括所述神经网络的神经元、权值、梯度、偏置中的至少一种数据；
量化参数确定单元b，用于利用每种待量化数据的统计结果以及数据位宽确定对应量化参数；其中，所述量化参数用于人工智能处理器对神经网络运算过程中的数据进行对应量化。
在本实施例中，可选地，所述神经网络的量化参数确定设备还包括：
第一量化单元，用于利用对应量化参数对所述待量化数据进行量化。
在本实施例中，可选地，所述神经网络的量化参数确定设备还包括：
第二量化单元，用于利用对应量化参数对目标数据进行量化；其中，所述目标数据的特征与所述待量化数据的特征之间具有相似性。
在本实施例中，所述神经网络运算过程包括神经网络训练、神经网络推理、神经网络微调中的至少一种运算。
在本实施例中，所述统计单元获得的统计结果为每种待量化数据中的最大值和最小值。
在本实施例中，所述统计单元获得的统计结果为每种待量化数据中的绝对值最大值。
在本实施例中，所述统计单元根据每种待量化数据中的最大值和最小值确定所述绝对值最大值。
在本实施例中，所述量化参数确定单元根据每种待量化数据中的最大值、最小值以及所述数据位宽确定量化参数。
在本实施例中，所述量化参数确定单元根据每种待量化数据中的绝对值最大值、所述数据位宽确定量化参数。
在本实施例中，所述量化参数确定单元确定的所述量化参数为点位置参数或第一缩放系数。
在本实施例中，所述量化参数确定单元根据点位置参数和第二缩放系数确定所述第一缩放系数；其中，确定第一缩放系数时使用的点位置参数为已知固定值，或所述点位置参数和对应的所述第二缩放系数相乘的结果整体作为第一缩放系数应用于神经网络运算过程中的数据量化。
在本实施例中，所述量化参数确定单元确定的所述量化参数包括点位置参数和第二缩放系数。
在本实施例中，所述量化参数确定单元根据所述点位置参数、所述统计结果、所述数据位宽确定所述第二缩放系数。
在本实施例中，所述量化参数确定单元确定的所述量化参数还包括偏移量。
在本实施例中，所述量化参数确定单元根据每种待量化数据的统计结果确定所述偏移量。
在本实施例中，所述量化参数确定单元使用的数据位宽是预设值。
在本实施例中，所述量化参数确定单元包括调整模块和量化误差确定模块；其中，
所述调整模块，用于根据对应的量化误差对数据位宽进行调整；
所述量化误差确定模块，用于根据量化后的数据与对应的量化前的数据确定所述量化误差。
在本实施例中，所述调整模块具体用于：
所述量化误差与阈值进行比较，根据比较结果，调整所述数据位宽；其中，所述阈值包括第一阈值和第二阈值中的至少一个。
在本实施例中，所述调整模块包括第一调整子模块，其中，所述第一调整子模块用于：
所述量化误差大于等于所述第一阈值，则对所述数据位宽进行增加。
在本实施例中，所述调整模块包括第二调整子模块，其中，所述第二调整子模块用于：
所述量化误差小于等于所述第二阈值，则对所述数据位宽进行减少。
在本实施例中，所述调整模块包括第三调整子模块，其中，所述第三调整子模块用于：
所述量化误差处于所述第一阈值和所述第二阈值之间，则所述数据位宽保持不变。
在本实施例中，所述量化误差确定模块包括：
量化间隔确定子模块，用于根据所述数据位宽确定量化间隔；
第一量化误差确定子模块，用于根据所述量化间隔、所述量化后的数据的个数与对应的量化前的数据确定量化误差。
在本实施例中，所述量化误差确定模块包括：
反量化数据确定子模块，用于对量化后的数据进行反量化，获得反量化数据；其中，所述反量化数据的数据格式与对应的量化前的数据的数据格式相同；
第二量化误差确定子模块，用于根据所述量化后的数据以及对应的反量化数据确定量化误差。
在本实施例中，所述量化误差确定模块使用的所述量化前的数据是所述待量化数据。
在本实施例中，所述量化误差确定模块使用的所述量化前的数据是在目标迭代间隔内的权值更新迭代过程中涉及的待量化数据；其中，所述目标迭代间隔包括至少一次权值更新迭代，且同一目标迭代间隔内量化过程中采用相同的所述数据位宽。
在本实施例中，所述神经网络的量化参数确定设备还包括第一目标迭代间隔确定单元；其中，所述第一目标迭代间隔确定单元包括：
第一变化趋势值确定模块，用于在预判时间点，确定权值更新迭代过程中涉及的待量化数据的点位置参数的变化趋势值；其中，所述预判时间点是用于判断是否需要对所述数据位宽进行调整的时间点，所述预判时间点对应权值更新迭代完成时的时间点；
第一目标迭代间隔模块，用于根据所述点位置参数的变化趋势值确定对应所述目标迭代间隔。
在本实施例中，所述第一目标迭代间隔确定单元包括：
第二变化趋势值确定模块，用于在预判时间点，确定权值更新迭代过程中涉及的待量化数据的点位置参数的变化趋势值、数据位宽的变化趋势值；其中，所述预判时间点是用于判断是否需要对所述数据位宽进行调整的时间点，所述预判时间点对应权值更新迭代完成时的时间点；
第二目标迭代间隔模块，用于根据所述点位置参数的变化趋势值和所述数据位宽的变化趋势值确定对应所述目标迭代间隔。
在本实施例中，所述第一目标迭代间隔确定单元还包括第一预判时间点确定单元；其中，
所述第一预判时间点确定单元，用于根据所述目标迭代间隔确定所述第一预判时间点。
在本实施例中，所述第一目标迭代间隔确定单元还包括第二预判时间点确定单元；其中，所述第二预判时间点确定单元，用于根据数据变动幅度曲线确定第二预判时间点；其中，所述数据变动幅度曲线是对权值更新迭代过程中数据变动幅度情况进行统计获得的。
在本实施例中，所述第一变化趋势值确定模块和所述第二变化趋势值确定模块均根据当前预判时间点对应的点位置参数的滑动平均值、上一预判时间点对应的点位置参数的滑动平均值确定所述点位置参数的变化趋势值。
在本实施例中，所述第一变化趋势值确定模块和所述第二变化趋势值确定模块均根据当前预判时间点对应的点位置参数、上一预判时间点对应的点位置参数的滑动平均值确定所述点位置参数的变化趋势值。
在本实施例中，所述第一变化趋势值确定模块和所述第二变化趋势值确定模块均包括：
当前预判时间点对应的点位置参数确定子模块，用于根据上一预判时间点对应的点位置参数与所述数据位宽的调整值确定所述当前预判时间点对应的点位置参数；
调整结果确定子模块，用于根据所述数据位宽的调整值对所述上一预判时间点对应的点位置参数的滑动平均值进行调整，获得调整结果；
第一滑动平均值确定子模块，用于根据所述当前预判时间点对应的点位置参数、所述调整结果确定当前预判时间点对应的点位置参数的滑动平均值。
在本实施例中，所述第一变化趋势值确定模块和所述第二变化趋势值确定模块均包括：
中间结果确定子模块，用于根据上一预判时间点对应的点位置参数与上一预判时间点对应的点位置参数的滑动平均值确定当前预判时间点对应的点位置参数的滑动平均值的中间结果；
第二滑动平均值确定子模块，用于根据当前预判时间点对应的点位置参数的滑动平均值的中间结果与所述数据位宽的调整值确定所述当前预判时间点对应的点位置参数的滑动平均值。
在本实施例中，所述第二变化趋势值确定模块根据对应所述量化误差确定数据位宽的变化趋势值。
在本实施例中，所述第一目标迭代间隔确定单元还包括：
量化误差确定模块，用于确定对应量化误差；其中，所述量化误差对应的量化前的数据是所述预判时间点对应的权值更新迭代过程中涉及的待量化数据；
数据位宽确定模块，用于根据对应量化误差，确定所述目标迭代间隔内量化过程中采用的数据位宽。
在本实施例中，所述数据位宽确定模块具体用于：
所述量化误差与阈值进行比较，根据比较结果，对上一目标迭代间隔内量化过程中采用的数据位宽进行调整，调整结果作为当前目标迭代间隔内量化过程中采用的数据位宽。
在本实施例中，所述量化误差确定模块使用的所述量化前的数据是在目标迭代间隔内的权值更新迭代时涉及的待量化数据；其中，所述目标迭代间隔包括至少一次权值更新迭代，且同一目标迭代间隔内量化过程中采用相同的所述量化参数。
在本实施例中，所述神经网络的量化参数确定设备还包括第二目标迭代间隔确定单元；其中，所述第二目标迭代间隔确定单元包括：
第三变化趋势值确定模块，用于在预判时间点，确定权值更新迭代过程中涉及的待量化数据的点位置参数的变化趋势值；其中，所述预判时间点是用于判断是否需要对所述量化参数进行调整的时间点，所述预判时间点对应权值更新迭代完成时的时间点；
第三目标迭代间隔模块，用于根据所述点位置参数的变化趋势值确定对应所述目标迭代间隔。
在本实施例中，所述量化参数确定单元根据统计结果、和所述数据位宽确定所述点位置参数。
在一个实施例中，提供了一种调整数据位宽的装置，其特征在于，包括：
获取模块，用于获取用于针对待量化数据执行量化处理的数据位宽，所述数据位宽指示所述待量化数据在经过所述量化处理后的量化后数据的位宽；
量化模块，用于基于所述数据位宽，针对一组待量化数据执行量化处理，以将所述一组待量化数据转换至一组量化后数据，所述一组量化后数据具有所述数据位宽；
确定模块，用于比较所述一组待量化数据和所述一组量化后数据，确定与所述数据位宽相关联的量化误差；以及
调整基于确定的所述量化误差来调整所述数据位宽。
在本实施例中，所述比较模块包括：
间隔确定模块，用于根据所述数据位宽确定量化间隔；以及
误差确定模块，用于根据所述量化间隔、所述一组量化后数据以及所述一组待量化数据确定所述量化误差。
在本实施例中，所述误差确定模块包括：
量化模块，用于根据所述量化间隔，针对所述一组量化后数据进行反量化，以获得一组反量化数据，其中所述一组反量化数据的数据格式与所述一组待量化数据的数据格式相同；以及
量化误差确定模块，用于根据所述一组反量化数据和所述一组待量化数据，确定量化误差。
在本实施例中，所述调整模块包括：
比较模块，用于比较所述量化误差与预设阈值，所述预设阈值包括第一阈值和第二阈值中的至少一个；以及
位宽调整模块，用于根据所述比较的结果来调整所述数据位宽。
在本实施例中，所述位宽调整模块包括：
增加模块，用于响应于确定所述量化误差大于或等于第一阈值，增加所述数据位 宽。
在本实施例中，所述增加模块包括：
步长增加模块，用于根据第一预设位宽步长增加所述数据位宽，以确定调整后数据位宽。
在本实施例中，所述量化模块进一步用于基于所述调整后数据位宽，针对所述一组待量化数据执行量化处理，以将所述一组待量化数据转换至另一组量化后数据，所述另一组量化后数据具有所述调整后数据位宽；以及
所述确定模块进一步用于比较所述一组待量化数据和所述另一组量化后数据，确定与所述调整后数据位宽相关联的另一量化误差，直至所述另一量化误差小于所述第一预设阈值。
在本实施例中，所述装置迭代地被调用。
在本实施例中，所述调整模块包括：
减少模块，用于响应于确定所述量化误差小于或等于所述第二阈值，减少所述数据位宽。
在本实施例中，所述减少模块包括：
步长减小模块，用于根据第二预设位宽步长减少所述数据位宽，以确定调整后数据位宽。
在本实施例中，所述量化模块进一步用于基于所述调整后数据位宽，针对所述一组待量化数据执行量化处理，以将所述一组待量化数据转换至另一组量化后数据，所述另一组量化后数据具有所述调整后数据位宽；以及
所述确定模块进一步用于基于所述一组待量化数据和所述另一组量化后数据，确定与所述调整后数据位宽相关联的另一量化误差，直至所述另一量化误差大于所述第二预设阈值。
在本实施例中，所述装置迭代地被调用。
在本实施例中，所述调整模块包括：
保持模块，用于响应于确定所述量化误差处于所述第一阈值和所述第二阈值之间，保持所述数据位宽。
在本实施例中，进一步包括：
更新模块，用于基于所述一组待量化数据和所述调整后数据位宽，更新用于针对所述一组待量化数据执行量化处理的量化参数；以及
所述量化模块进一步用于基于更新的所述量化参数，针对所述一组待量化数据执行量化处理。
在本实施例中，幅度模块，用于获取待量化数据的数据变动幅度；
间隔模块，用于根据所述待量化数据的数据变动幅度，确定目标迭代间隔，以根据所述目标迭代间隔调整所述数据位宽，所述目标迭代间隔包括至少一次迭代。
在本实施例中，所述幅度模块包括：
点位置模块，用于获取点位置的变动幅度，其中所述点位置的变动幅度用于表征所述待量化数据的数据变动幅度，所述点位置的变动幅度与所述待量化数据的数据变动幅度正相关。
在本实施例中，所述点位置模块包括：
第一均值模块，用于根据当前检验迭代之前的上一检验迭代对应的点位置，以及所述上一检验迭代之前的历史迭代对应的点位置，确定第一均值，其中所述上一检验迭代为所述目标迭代间隔之前的上一迭代间隔对应的检验迭代；
第二均值模块，用于根据所述当前检验迭代对应的点位置及所述当前检验迭代之前的历史迭代的点位置，确定第二均值；其中所述当前检验迭代对应的点位置根据所述当前检验迭代对应的目标数据位宽和待量化数据确定；
第一误差模块，用于根据所述第一均值和所述第二均值确定第一误差，所述第一误差用于表征所述点位置的变动幅度。
在本实施例中，所述间隔模块包括：
第一间隔模块，用于根据所述第一误差确定所述目标迭代间隔，所述目标迭代间隔与所述第一误差负相关。
在本实施例中，所述幅度模块进一步包括：
趋势模块，用于获取所述数据位宽的变化趋势；
数据变动幅度模块，用于根据所述点位置的变动幅度和所述数据位宽的变化趋势，确定所述待量化数据的数据变动幅度。
在本实施例中，所述间隔模块，进一步包括：
迭代间隔模块，用于根据获取的第一误差和第二误差，确定所述目标迭代间隔；其中所述第一误差用于表征点位置的变动幅度，所述第二误差用于表征数据位宽的变化趋势。
在本实施例中，所述迭代间隔模块包括：
目标误差模块，用于将所述第一误差和所述第二误差中最大值作为目标误差；
目标迭代间隔模块，用于根据所述目标误差确定所述目标迭代间隔，其中，所述目标误差与所述目标迭代间隔负相关。
在本实施例中，所述第二误差根据量化误差确定；
其中，所述量化误差根据所述当前检验迭代中待量化数据和所述当前检验迭代的量化数据确定，所述第二误差与所述量化误差正相关。
在本实施例中，所述装置用于神经网络的训练或微调，所述装置进一步包括：
第一迭代模块，用于当所述当前迭代大于第一预设迭代时，则根据所述待量化数据的数据变动幅度确定目标迭代间隔，并根据所述目标迭代间隔调整所述量化参数。
在本实施例中，所述装置进一步包括：
第二迭代模块，用于当所述当前迭代小于或等于所述第一预设迭代时，则将第一预设迭代间隔作为所述目标迭代间隔，并根据所述第一预设迭代间隔调整所述量化参数。
在本实施例中，所述装置进一步包括：
第三迭代模块，用于当所述当前迭代大于或等于第二预设迭代时，则将第二预设迭代间隔作为所述目标迭代间隔，并根据所述第二预设迭代间隔调整所述量化参数；
其中，所述第二预设迭代大于所述第一预设迭代，所述第二预设迭代间隔大于所述第一预设迭代间隔。
在本实施例中，所述装置进一步包括：
收敛模块，用于当所述神经网络的收敛程度满足预设条件时，则确定所述当前检验迭代大于或等于第二预设迭代。
在本实施例中，所述装置进一步包括：
当所述当前迭代大于或等于第二预设迭代，且第二误差大于预设误差值时，则根据所述待量化数据的数据变动幅度确定迭代间隔，以根据所述迭代间隔重新确定所述数据位宽。
在一个实施例中，提供了一种计算机可读存储介质，其特征在于其上存储有计算机程序，所述程序被执行时实现根据上文中的任一项所述的方法。
在一个实施例中，提供了一种人工智能芯片，其特征在于，所述芯片包括根据上文中的任一项所述的用于处理数据的装置。
在一个实施例中，提供了一种电子设备，其特征在于，所述电子设备包括根据上文所述的人工智能芯片。
在一个实施例中，提供了一种板卡，其特征在于，所述板卡包括：存储器件、接口装置和控制器件以及根据上文所述的人工智能芯片；
其中，所述人工智能芯片与所述存储器件、所述控制器件以及所述接口装置相连接；
所述存储器件，用于存储数据；
所述接口装置，用于实现所述人工智能芯片与外部设备之间的数据传输；以及
所述控制器件，用于对所述人工智能芯片的状态进行监控。
在一个实施例中，所述存储器件包括：多组存储单元，每组存储单元与所述人工智能芯片通过总线连接，所述存储单元为DDR SDRAM；
所述芯片包括：DDR控制器，用于对每个所述存储单元的数据传输与数据存储的控制；
所述接口装置为标准PCIE接口。
在一个实施例中，所述确定与所述待量化层中每种待量化数据对应的量化参数，包括：
根据每种待量化数据和对应的数据位宽计算得到对应的量化参数。
在一个实施例中，所述根据每种待量化数据和对应的数据位宽计算得到对应的量化参数，包括：
当所述量化参数不包括偏移量时，根据目标数据中的绝对值最大值和所述目标数据对应的数据位宽，得到所述目标数据的点位置，所述目标数据为任意一种待量化数据。
在一个实施例中，所述根据每种待量化数据和对应的数据位宽计算得到对应的量化参数，包括：
当所述量化参数不包括偏移量时，根据目标数据和所述目标数据对应的数据位宽得到 所述目标数据量化后数据的最大值，所述目标数据为任意一种待量化数据；
根据目标数据中的绝对值最大值和所述目标数据量化后数据的最大值，得到所述目标数据的缩放系数。
在一个实施例中，所述根据每种待量化数据和对应的数据位宽计算得到对应的量化参数，包括：
当所述量化参数包括偏移量时，根据所述目标数据中的最大值、所述目标数据中的最小值和所述目标数据对应的数据位宽，得到所述目标数据的点位置，所述目标数据为任意一种待量化数据。
在一个实施例中，所述根据每种待量化数据和对应的数据位宽计算得到对应的量化参数，包括：
当所述量化参数包括偏移量时，根据目标数据和所述目标数据对应的数据位宽得到所述目标数据量化后数据的最大值，所述目标数据为任意一种待量化数据；
根据所述目标数据中的最大值、所述目标数据中的最小值和所述目标数据量化后数据的最大值，得到所述目标数据的缩放系数。
在一个实施例中，所述根据每种待量化数据和对应的数据位宽计算得到对应的量化参数，包括：
根据目标数据中的最大值和最小值，得到所述目标数据的偏移量，所述目标数据为任意一种待量化数据。
在一个实施例中，所述方法还包括：
根据目标数据和所述目标数据对应的量化数据，确定所述目标数据的量化误差，所述目标数据为任意一种待量化数据；
根据所述量化误差和误差阈值，调整所述目标数据对应的数据位宽，得到所述目标数据对应的调整位宽；
将所述目标数据对应的数据位宽更新为所述调整位宽，根据所述目标数据和所述调整位宽计算得到对应的调整量化参数，以使所述神经网络根据所述调整量化参数进行量化。
在一个实施例中，所述根据所述量化误差和误差阈值，调整所述目标数据对应的数据位宽，得到所述目标数据对应的调整位宽，包括：
当所述量化误差大于第一误差阈值时，增加所述目标数据对应的数据位宽，得到所述目标数据对应的调整位宽。
在一个实施例中，根据所述调整位宽和所述目标数据计算所述目标数据调整后的量化误差；
根据所述调整后的量化误差和所述第一误差阈值继续增加所述调整位宽，直至根据调整位宽和所述目标数据计算得到的调整后的量化误差小于或等于所述第一误差阈值。
在一个实施例中，所述根据所述量化误差和误差阈值，调整所述目标数据对应的数据位宽，包括：
当所述量化误差小于第二误差阈值时，减少所述目标数据对应的数据位宽，所述第二 误差阈值小于所述第一误差阈值。
在一个实施例中，所述方法还包括：
根据所述调整位宽和所述目标数据计算所述目标数据调整后的量化误差；
根据所述调整后的量化误差和所述第二误差阈值继续减少所述调整位宽，直至根据调整位宽和所述目标数据计算得到的调整后的量化误差大于或等于所述第二误差阈值。
在一个实施例中，在所述神经网络运算的微调阶段和/或训练阶段，所述方法还包括：
获取当前迭代以及历史迭代中目标数据的数据变动幅度，所述历史迭代为所述当前迭代之前的迭代；
根据所述目标数据的数据变动幅度，确定所述目标数据对应的目标迭代间隔，以使所述神经网络根据所述目标迭代间隔更新所述目标数据的量化参数，所述目标迭代间隔包括至少一次迭代，所述目标数据为任意一种待量化数据。
在一个实施例中，所述方法还包括：
根据所述目标数据在所述当前迭代的数据位宽，确定所述目标数据在所述目标迭代间隔内的迭代对应的数据位宽，以使所述神经网络根据所述目标数据在所述目标迭代间隔内的迭代对应的数据位宽，确定量化参数。
在一个实施例中，所述量化参数确定模块，包括：
第二量化参数确定子模块，用于根据每种待量化数据和对应的数据位宽计算得到对应的量化参数。
在一个实施例中，所述第二量化参数确定子模块，包括：
第一点位置计算单元，用于当所述量化参数不包括偏移量时，根据目标数据中的绝对值最大值和所述目标数据对应的数据位宽，得到所述目标数据的点位置，所述目标数据为任意一种待量化数据。
在一个实施例中，所述第二量化参数确定子模块，包括：
第一缩放系数计算单元，用于当所述量化参数不包括偏移量时，根据目标数据和所述目标数据对应的数据位宽得到所述目标数据量化后数据的最大值，所述目标数据为任意一种待量化数据；根据目标数据中的绝对值最大值和所述目标数据量化后数据的最大值，得到所述目标数据的缩放系数。
在一个实施例中，所述第二量化参数确定子模块，包括：
第二点位置计算单元，用于当所述量化参数包括偏移量时，根据所述目标数据中的最大值、所述目标数据中的最小值和所述目标数据对应的数据位宽，得到所述目标数据的点位置，所述目标数据为任意一种待量化数据。
在一个实施例中，所述第二量化参数确定子模块，包括：
第二缩放系数计算单元，用于当所述量化参数包括偏移量时，根据目标数据和所述目标数据对应的数据位宽得到所述目标数据量化后数据的最大值，所述目标数据为任意一种待量化数据；根据所述目标数据中的最大值、所述目标数据中的最小值和所述目标数据量化后数据的最大值，得到所述目标数据的缩放系数。
在一个实施例中，所述第二量化参数确定子模块，包括：
偏移量计算单元，用于根据目标数据中的最大值和最小值，得到所述目标数据的偏移量，所述目标数据为任意一种待量化数据。
在一个实施例中，所述装置还包括：
量化误差确定模块，用于根据目标数据和所述目标数据对应的量化数据，确定所述目标数据的量化误差，所述目标数据为任意一种待量化数据；
调整位宽确定模块，用于根据所述量化误差和误差阈值，调整所述目标数据对应的数据位宽，得到所述目标数据对应的调整位宽；
调整量化参数确定模块，用于将所述目标数据对应的数据位宽更新为所述调整位宽，根据所述目标数据和所述调整位宽计算得到对应的调整量化参数，以使所述神经网络根据所述调整量化参数进行量化。
在一个实施例中，所述调整位宽确定模块，包括：
第一调整位宽确定子模块，用于当所述量化误差大于第一误差阈值时，增加所述目标数据对应的数据位宽，得到所述目标数据对应的调整位宽。
在一个实施例中，所述调整位宽确定模块，还包括：
第一调整量化误差确定子模块，用于根据所述调整位宽和所述目标数据计算所述目标数据调整后的量化误差；
第一调整位宽循环确定子模块，用于根据所述调整后的量化误差和所述第一误差阈值继续增加所述调整位宽，直至根据调整位宽和所述目标数据计算得到的调整后的量化误差小于或等于所述第一误差阈值。
在一个实施例中，所述调整位宽确定模块，包括：
第二调整位宽确定子模块，用于当所述量化误差小于第二误差阈值时，减少所述目标数据对应的数据位宽，所述第二误差阈值小于所述第一误差阈值。
在一个实施例中，所述调整位宽确定模块，还包括：
第二调整量化误差确定子模块，用于根据所述调整位宽和所述目标数据计算所述目标数据调整后的量化误差；
第二调整位宽循环确定子模块，用于根据所述调整后的量化误差和所述第二误差阈值继续减少所述调整位宽，直至根据调整位宽和所述目标数据计算得到的调整后的量化误差大于或等于所述第二误差阈值。
在一个实施例中，在所述神经网络运算的微调阶段和/或训练阶段，所述装置还包括：
数据变动幅度确定模块，用于获取当前迭代以及历史迭代中目标数据的数据变动幅度，所述历史迭代为所述当前迭代之前的迭代；
目标迭代间隔确定模块，用于根据所述目标数据的数据变动幅度，确定所述目标数据对应的目标迭代间隔，以使所述神经网络根据所述目标迭代间隔更新所述目标数据的量化参数，所述目标迭代间隔包括至少一次迭代，所述目标数据为任意一种待量化数据。
在一个实施例中，所述装置还包括：
第一目标迭代间隔应用模块，用于根据所述目标数据在所述当前迭代的数据位宽，确定所述目标数据在所述目标迭代间隔内的迭代对应的数据位宽，以使所述神经网络根据所述目标数据在所述目标迭代间隔内的迭代对应的数据位宽，确定量化参数。
在一个实施例中，提供了一种神经网络的量化参数调整方法，其特征在于，所述方法包括：
获取待量化数据的数据变动幅度；
根据所述待量化数据的数据变动幅度，确定目标迭代间隔，以根据所述目标迭代间隔调整所述神经网络运算中的量化参数，其中，所述目标迭代间隔包括至少一次迭代，所述神经网络的量化参数用于实现对所述神经网络运算中待量化数据的量化操作。
在一个实施例中，所述量化参数包括点位置，所述点位置为所述待量化数据对应的量化数据中小数点的位置；所述方法还包括：
根据当前检验迭代对应的目标数据位宽和所述当前检验迭代的待量化数据，确定所述目标迭代间隔中迭代对应的点位置，以调整所述神经网络运算中的点位置；
其中，所述目标迭代间隔中迭代对应的点位置一致。
在一个实施例中，所述量化参数包括点位置，所述点位置为所述待量化数据对应的量化数据中小数点的位置；所述方法还包括：
根据所述当前检验迭代对应的目标数据位宽，确定所述目标迭代间隔对应的数据位宽，其中，所述目标迭代间隔中迭代对应的数据位宽一致；
根据获取的点位置迭代间隔和所述目标迭代间隔对应的数据位宽，调整所述目标迭代间隔中迭代对应的点位置，以调整所述神经网络运算中的点位置；
其中，所述点位置迭代间隔包含至少一次迭代，所述点位置迭代间隔中迭代的点位置一致。
在一个实施例中，所述点位置迭代间隔小于或等于所述目标迭代间隔。
在一个实施例中，所述量化参数还包括缩放系数，所述缩放系数与所述点位置同步更新。
在一个实施例中，所述量化参数还包括偏移量，所述偏移量与所述点位置同步更新。
在一个实施例中，所述方法还包括：
根据所述当前检验迭代的待量化数据和所述当前检验迭代的量化数据，确定量化误差，其中，所述当前检验迭代的量化数据对所述当前检验迭代的待量化数据进行量化获得；
根据所述量化误差，确定所述当前检验迭代对应的目标数据位宽。
在一个实施例中，所述根据所述量化误差，确定所述当前检验迭代对应的目标数据位宽，包括：
若所述量化误差大于或等于第一预设阈值，则增加所述当前检验迭代对应的数据位宽，获得所述当前检验迭代对应的目标数据位宽；或者，
若所述量化误差小于或等于第二预设阈值，则减小所述当前检验迭代对应的数据位宽，获得所述当前检验迭代对应的目标数据位宽。
在一个实施例中，若所述量化误差大于或等于第一预设阈值，则增加所述当前检验迭代对应的数据位宽，获得所述当前检验迭代对应的目标数据位宽，包括：
若所述量化误差大于或等于第一预设阈值，则根据第一预设位宽步长确定第一中间数据位宽；
返回执行根据所述当前检验迭代中待量化数据和所述当前检验迭代的量化数据，确定量化误差，直至所述量化误差小于所述第一预设阈值；其中，所述当前检验迭代的量化数据是根据所述第一中间数据位宽对所述当前检验迭代的待量化数据进行量化获得。
在一个实施例中，所述若所述量化误差小于或等于第二预设阈值，则减小所述当前检验迭代对应的数据位宽，包括：
若所述量化误差小于或等于第二预设阈值，则根据第二预设位宽步长确定第二中间数据位宽；
返回执行根据所述当前检验迭代中待量化数据和所述当前检验迭代的量化数据，确定量化误差，直至所述量化误差大于所述第二预设阈值；其中，所述当前检验迭代的量化数据是根据所述第二中间数据位宽对所述当前检验迭代的待量化数据进行量化获得。
在一个实施例中，所述获取待量化数据的数据变动幅度，包括：
获取点位置的变动幅度；其中，所述点位置的变动幅度能够用于表征所述待量化数据的数据变动幅度，所述点位置的变动幅度与所述待量化数据的数据变动幅度正相关。
在一个实施例中，所述获取点位置的变动幅度，包括：
根据当前检验迭代之前的上一检验迭代对应的点位置，以及所述上一检验迭代之前的历史迭代对应的点位置，确定第一均值，其中，所述上一检验迭代为所述目标迭代间隔之前的上一迭代间隔对应的检验迭代；
根据所述当前检验迭代对应的点位置及所述当前检验迭代之前的历史迭代的点位置，确定第二均值；其中，所述当前检验迭代对应的点位置根据所述当前检验迭代对应的目标数据位宽和待量化数据确定；
根据所述第一均值和所述第二均值确定第一误差，所述第一误差用于表征所述点位置的变动幅度。
在一个实施例中，所述根据当前检验迭代对应的点位置及所述当前检验迭代之前的历史迭代的点位置，确定第二均值，包括：
获取预设数量的中间滑动平均值，其中，各个所述中间滑动平均值是根据所述当前检验迭代之前所述预设数量的检验迭代确定的；
根据所述当前检验迭代的点位置以及所述预设数量的中间滑动平均值，确定所述第二均值。
在一个实施例中，所述根据所述当前检验迭代对应的点位置及所述当前检验迭代之前的历史迭代的点位置，确定第二均值，包括：
根据所述当前检验迭代对应的点位置以及所述第一均值，确定所述第二均值。
在一个实施例中，所述方法还包括：
根据获取的所述当前检验迭代的数据位宽调整值，更新所述第二均值；其中，所述当前检验迭代的数据位宽调整值根据所述当前检验迭代的目标数据位宽和初始数据位宽确定。
在一个实施例中，所述根据获取的所述当前检验迭代的数据位宽调整值，更新所述第二均值，包括：
当所述当前检验迭代的数据位宽调整值大于预设参数时，则根据所述当前检验迭代的数据位宽调整值减小所述第二均值；
当所述当前检验迭代的数据位宽调整值小于预设参数时，则根据所述当前检验迭代的数据位宽调整值增大所述第二均值。
在一个实施例中，所述根据所述待量化数据的数据变动幅度，确定目标迭代间隔，包括：
根据所述第一误差确定所述目标迭代间隔，所述目标迭代间隔与所述第一误差负相关。
在一个实施例中，所述获取待量化数据的数据变动幅度，还包括：
获取数据位宽的变化趋势；
根据所述点位置的变动幅度和所述数据位宽的变化趋势，确定所述待量化数据的数据变动幅度。
在一个实施例中，根据所述待量化数据的数据变动幅度，确定目标迭代间隔，还包括：
根据获取的第一误差和第二误差，确定所述目标迭代间隔；其中，所述第一误差用于表征点位置的变动幅度，所述第二误差用于表征数据位宽的变化趋势。
在一个实施例中，所述根据获取的所述第二误差和所述第一误差，确定所述目标迭代间隔，包括：
将所述第一误差和所述第二误差中最大值作为目标误差；
根据所述目标误差确定所述目标迭代间隔，其中，所述目标误差与所述目标迭代间隔负相关。
在一个实施例中，所述第二误差根据量化误差确定；
其中，所述量化误差根据所述当前检验迭代中待量化数据和所述当前检验迭代的量化数据确定，所述第二误差与所述量化误差正相关。
在一个实施例中，所述方法用于神经网络的训练或微调，所述方法还包括：
当所述当前迭代大于第一预设迭代时，则根据所述待量化数据的数据变动幅度确定目标迭代间隔，并根据所述目标迭代间隔调整所述量化参数。
在一个实施例中，所述方法还包括：
当所述当前迭代小于或等于所述第一预设迭代时，则将第一预设迭代间隔作为所述目标迭代间隔，并根据所述第一预设迭代间隔调整所述量化参数。
在一个实施例中，所述方法还包括：
当所述当前迭代大于或等于第二预设迭代时，则将第二预设迭代间隔作为所述目标迭代间隔，并根据所述第二预设迭代间隔调整所述量化参数；
其中，所述第二预设迭代大于所述第一预设迭代，所述第二预设迭代间隔大于所述第一预设迭代间隔。
在一个实施例中，所述方法还包括：
当所述神经网络的收敛程度满足预设条件时，则确定所述当前检验迭代大于或等于第二预设迭代。
在一个实施例中，所述方法还包括：
当所述当前迭代大于或等于第二预设迭代，且第二误差大于预设误差值时，则根据所述待量化数据的数据变动幅度确定迭代间隔，以根据所述迭代间隔重新确定所述数据位宽。
在一个实施例中，所述待量化数据为神经元数据、权值数据或梯度数据中的至少一种。
在一个实施例中，提供了一种神经网络的量化参数调整装置，其特征在于，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时，实现如上文任一项所述的方法的步骤。
在一个实施例中，所述计算机可读存储介质中存储有计算机程序，所述计算机程序被执行时，实现如上文任一项所述的方法的步骤。
在一个实施例中，提供了一种神经网络的量化参数调整装置，其特征在于，所述装置包括：
获取模块，用于获取待量化数据的数据变动幅度；
迭代间隔确定模块，用于根据所述待量化数据的数据变动幅度，确定目标迭代间隔，以根据所述目标迭代间隔调整所述神经网络运算中的量化参数，其中，所述目标迭代间隔包括至少一次迭代，所述神经网络的量化参数用于实现对所述神经网络运算中待量化数据的量化操作。
在一个实施例中，所述量化参数包括点位置，所述点位置为所述待量化数据对应的量化数据中小数点的位置；所述装置还包括：
量化参数确定模块，用于根据当前检验迭代对应的目标数据位宽和所述当前检验迭代的待量化数据，确定所述目标迭代间隔中迭代对应的点位置，以调整所述神经网络运算中的点位置；
其中，所述目标迭代间隔中迭代对应的点位置一致。
在一个实施例中，所述量化参数包括点位置，所述点位置为所述待量化数据对应的量化数据中小数点的位置；所述装置还包括：
数据位宽确定模块，用于根据所述当前检验迭代对应的目标数据位宽，确定所述目标迭代间隔对应的数据位宽，其中，所述目标迭代间隔中迭代对应的数据位宽一致；
量化参数确定模块，用于根据获取的点位置迭代间隔和所述目标迭代间隔对应的数据位宽，调整所述目标迭代间隔中迭代对应的点位置，以调整所述神经网络运算中的点位置；
其中，所述点位置迭代间隔包含至少一次迭代，所述点位置迭代间隔中迭代的点位置一致。
在一个实施例中，所述点位置迭代间隔小于或等于所述目标迭代间隔。
在一个实施例中，所述量化参数还包括缩放系数，所述缩放系数与所述点位置同步更新。
在一个实施例中，所述量化参数还包括偏移量，所述偏移量与所述点位置同步更新。
在一个实施例中，所述数据位宽确定模块包括：
量化误差确定单元，用于根据所述当前检验迭代的待量化数据和所述当前检验迭代的量化数据，确定量化误差，其中，所述当前检验迭代的量化数据对所述当前检验迭代的待量化数据进行量化获得；
数据位宽确定单元，用于根据所述量化误差，确定所述当前检验迭代对应的目标数据位宽。
在一个实施例中，所述数据位宽确定单元用于根据所述量化误差，确定所述当前检验迭代对应的目标数据位宽时，具体用于：
若所述量化误差大于或等于第一预设阈值，则增加所述当前检验迭代对应的数据位宽，获得所述当前检验迭代对应的目标数据位宽；或者，
若所述量化误差小于或等于第二预设阈值，则减小所述当前检验迭代对应的数据位宽，获得所述当前检验迭代对应的目标数据位宽。
在一个实施例中，所述数据位宽确定单元用于若所述量化误差大于或等于第一预设阈值，则增加所述当前检验迭代对应的数据位宽，获得所述当前检验迭代对应的目标数据位宽时，具体用于：
若所述量化误差大于或等于第一预设阈值，则根据第一预设位宽步长确定第一中间数据位宽；
返回执行根据所述当前检验迭代中待量化数据和所述当前检验迭代的量化数据，确定量化误差，直至所述量化误差小于所述第一预设阈值；其中，所述当前检验迭代的量化数据是根据所述第一中间数据位宽对所述当前检验迭代的待量化数据进行量化获得。
在一个实施例中，所述数据位宽确定单元用于若所述量化误差小于或等于第二预设阈值，则减小所述当前检验迭代对应的数据位宽，获得所述当前检验迭代对应的目标数据位宽时，具体用于：
若所述量化误差小于或等于第二预设阈值，则根据第二预设位宽步长确定第二中间数据位宽；
返回执行根据所述当前检验迭代中待量化数据和所述当前检验迭代的量化数据，确定量化误差，直至所述量化误差大于所述第二预设阈值；其中，所述当前检验迭代的量化数据是根据所述第二中间数据位宽对所述当前检验迭代的待量化数据进行量化获得。
在一个实施例中，所述获取模块包括：
第一获取模块，用于获取点位置的变动幅度；其中，所述点位置的变动幅度能够用于表征所述待量化数据的数据变动幅度，所述点位置的变动幅度与所述待量化数据的数据变动幅度正相关。
在一个实施例中，所述第一获取模块包括：
第一均值确定单元，用于根据当前检验迭代之前的上一检验迭代对应的点位置，以及所述上一检验迭代之前的历史迭代对应的点位置，确定第一均值，其中，所述上一检验迭代为所述目标迭代间隔之前的上一迭代间隔对应的检验迭代；
第二均值确定单元，用于根据所述当前检验迭代对应的点位置及所述当前检验迭代之前的历史迭代的点位置，确定第二均值；其中，所述当前检验迭代对应的点位置根据所述当前检验迭代对应的目标数据位宽和待量化数据确定；
第一误差确定单元，用于根据所述第一均值和所述第二均值确定第一误差，所述第一误差用于表征所述点位置的变动幅度。
在一个实施例中，所述第二均值确定单元具体用于：
获取预设数量的中间滑动平均值，其中，各个所述中间滑动平均值是根据所述当前检验迭代之前所述预设数量的检验迭代确定的；
根据所述当前检验迭代的点位置以及所述预设数量的中间滑动平均值，确定所述第二均值。
在一个实施例中，所述第二均值确定单元具体用于根据所述当前检验迭代对应的点位置以及所述第一均值，确定所述第二均值。
在一个实施例中，所述第二均值确定单元用于根据获取的所述当前检验迭代的数据位宽调整值，更新所述第二均值；
其中，所述当前检验迭代的数据位宽调整值根据所述当前检验迭代的目标数据位宽和初始数据位宽确定。
在一个实施例中，所述第二均值确定单元用于根据获取的所述当前检验迭代的数据位宽调整值，更新所述第二均值时，具体用于：
当所述当前检验迭代的数据位宽调整值大于预设参数时，则根据所述当前检验迭代的数据位宽调整值减小所述第二均值；
当所述当前检验迭代的数据位宽调整值小于预设参数时，则根据所述当前检验迭代的数据位宽调整值增大所述第二均值。
在一个实施例中，所述迭代间隔确定模块用于根据所述第一误差确定所述目标迭代间隔，所述目标迭代间隔与所述第一误差负相关。
在一个实施例中，所述获取模块还包括：
第二获取模块，用于获取数据位宽的变化趋势；根据所述点位置的变动幅度和所述数据位宽的变化趋势，确定所述待量化数据的数据变动幅度。
在一个实施例中，所述迭代间隔确定模块还用于根据获取的第一误差和第二误差，确定所述目标迭代间隔；其中，所述第一误差用于表征点位置的变动幅度，所述第二误差用于表征数据位宽的变化趋势。
在一个实施例中，所述根迭代间隔确定模块用于根据获取的第一误差和第二误差，确定所述目标迭代间隔时，具体用于：
将所述第一误差和所述第二误差中最大值作为目标误差；
根据所述目标误差确定所述目标迭代间隔，其中，所述目标误差与所述目标迭代间隔负相关。
在一个实施例中，所述第二误差根据量化误差确定；
其中，所述量化误差根据所述当前检验迭代中待量化数据和所述当前检验迭代的量化数据确定，所述第二误差与所述量化误差正相关。
在一个实施例中，所述装置用于实现神经网络的训练或微调；所述迭代间隔确定模块还用于：
当所述当前迭代大于第一预设迭代时，则根据所述待量化数据的数据变动幅度确定目标迭代间隔，并根据所述目标迭代间隔调整所述量化参数。
在一个实施例中，所述迭代间隔确定模块还用于：当所述当前迭代小于或等于所述第一预设迭代时，则将第一预设迭代间隔作为所述目标迭代间隔，并根据所述第一预设迭代间隔调整所述量化参数。
在一个实施例中，所述迭代间隔确定模块还用于：
当所述当前迭代大于或等于第二预设迭代时，则将第二预设迭代间隔作为所述目标迭代间隔，并根据所述第二预设迭代间隔调整所述量化参数；
其中，当所述神经网络的收敛程度满足预设条件时，则确定所述当前检验迭代大于或等于第二预设迭代；
所述第二预设迭代大于所述第一预设迭代，所述第二预设迭代间隔大于所述第一预设迭代间隔。
在一个实施例中，所述迭代间隔确定模块还用于：当所述当前迭代大于或等于第二预设迭代，且第二误差大于预设误差值时，则根据所述待量化数据的数据变动幅度确定迭代间隔，以根据所述迭代间隔重新确定所述数据位宽。
应该理解，上述的装置实施例仅是示意性的，本披露的设备还可通过其它的方式实现。例如，上述实施例中所述单元/模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。例如，多个单元、模块或组件可以结合，或者可以集成到另一个系统，或一些特征可以忽略或不执行。
所述作为分离部件说明的单元或模块可以是物理上分开的，也可以不是物理上分开的。作为单元或模块说明的部件可以是物理单元，也可以不是物理单元，即可以位于一个装置中，或者也可以分布到多个装置上。本披露中实施例的方案可以根据实际的需要选择其中的部分或者全部单元来实现。
另外，若无特别说明，在本披露各个实施例中的各功能单元/模块可以集成在一个单元/模块中，也可以是各个单元/模块单独物理存在，也可以两个或两个以上单元/模块集成在一起。上述集成的单元/模块既可以采用硬件的形式实现，也可以采用软件程序模块的形式实现。
应该理解，上述的装置实施例仅是示意性的，本披露的装置还可通过其它的方式实现。例如，上述实施例中所述单元/模块的划分，仅仅为一种逻辑功能划分，实际实现时可以 有另外的划分方式。例如，多个单元、模块或组件可以结合，或者可以集成到另一个系统，或一些特征可以忽略或不执行。
所述作为分离部件说明的单元或模块可以是物理上分开的，也可以不是物理上分开的。作为单元或模块说明的部件可以是物理单元，也可以不是物理单元，即可以位于一个装置中，或者也可以分布到多个装置上。本披露中实施例的方案可以根据实际的需要选择其中的部分或者全部单元来实现。
另外，若无特别说明，在本披露各个实施例中的各功能单元/模块可以集成在一个单元/模块中，也可以是各个单元/模块单独物理存在，也可以两个或两个以上单元/模块集成在一起。上述集成的单元/模块既可以采用硬件的形式实现，也可以采用软件程序模块的形式实现。
所述集成的单元/模块如果以硬件的形式实现时，该硬件可以是数字电路，模拟电路等等。硬件结构的物理实现包括但不局限于晶体管，忆阻器等等。若无特别说明，所述人工智能处理器可以是任何适当的硬件处理器，比如：CPU、GPU、FPGA、DSP和ASIC等等。若无特别说明，所述存储单元可以是任何适当的磁存储介质或者磁光存储介质，比如：阻变式存储器RRAM(Resistive Random Access Memory)、动态随机存取存储器DRAM(Dynamic Random Access Memory)、静态随机存取存储器SRAM(Static Random-Access Memory)、增强动态随机存取存储器EDRAM(Enhanced Dynamic Random Access Memory)、高带宽内存HBM(High-Bandwidth Memory)、混合存储立方HMC(Hybrid Memory Cube)等等。
所述集成的单元/模块如果以软件程序模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储器中。基于这样的理解，本披露的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本披露各个实施例所述方法的全部或部分步骤。而前述的存储器包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
在本技术方案中，本披露还公开了一种人工智能芯片，其包括了上述神经网络的量化参数确定设备。
在本技术方案中，本披露还公开了一种板卡，其包括存储器件、接口装置和控制器件以及上述人工智能芯片；其中，所述人工智能芯片与所述存储器件、所述控制器件以及所述接口装置分别连接；所述存储器件，用于存储数据；所述接口装置，用于实现所述人工智能芯片与外部设备之间的数据传输；所述控制器件，用于对所述人工智能芯片的状态进行监控。
图12示出根据本披露实施例的板卡的结构框图，参阅图12，上述板卡除了包括上述芯片389以外，还可以包括其他的配套部件，该配套部件包括但不限于：存储器件390、 接口装置391和控制器件392；
所述存储器件390与所述人工智能芯片通过总线连接，用于存储数据。所述存储器件可以包括多组存储单元393。每一组所述存储单元与所述人工智能芯片通过总线连接。可以理解，每一组所述存储单元可以是DDR SDRAM(英文：Double Data Rate SDRAM，双倍速率同步动态随机存储器)。
DDR不需要提高时钟频率就能加倍提高SDRAM的速度。DDR允许在时钟脉冲的上升沿和下降沿读出数据。DDR的速度是标准SDRAM的两倍。在一个实施例中，所述存储装置可以包括4组所述存储单元。每一组所述存储单元可以包括多个DDR4颗粒(芯片)。在一个实施例中，所述人工智能芯片内部可以包括4个72位DDR4控制器，上述72位DDR4控制器中64bit用于传输数据，8bit用于ECC校验。可以理解，当每一组所述存储单元中采用DDR4-3200颗粒时，数据传输的理论带宽可达到25600MB/s。
在一个实施例中，每一组所述存储单元包括多个并联设置的双倍速率同步动态随机存储器。DDR在一个时钟周期内可以传输两次数据。在所述芯片中设置控制DDR的控制器，用于对每个所述存储单元的数据传输与数据存储的控制。
所述接口装置与所述人工智能芯片电连接。所述接口装置用于实现所述人工智能芯片与外部设备(例如服务器或计算机)之间的数据传输。例如在一个实施例中，所述接口装置可以为标准PCIE接口。比如，待处理的数据由服务器通过标准PCIE接口传递至所述芯片，实现数据转移。优选的，当采用PCIE 3.0 X 16接口传输时，理论带宽可达到16000MB/s。在另一个实施例中，所述接口装置还可以是其他的接口，本披露并不限制上述其他的接口的具体表现形式，所述接口单元能够实现转接功能即可。另外，所述人工智能芯片的计算结果仍由所述接口装置传送回外部设备(例如服务器)。
所述控制器件与所述人工智能芯片电连接。所述控制器件用于对所述人工智能芯片的状态进行监控。具体的，所述人工智能芯片与所述控制器件可以通过SPI接口电连接。所述控制器件可以包括单片机(Micro Controller Unit，MCU)。如所述人工智能芯片可以包括多个处理芯片、多个处理核或多个处理电路，可以带动多个负载。因此，所述人工智能芯片可以处于多负载和轻负载等不同的工作状态。通过所述控制装置可以实现对所述人工智能芯片中多个处理芯片、多个处理和或多个处理电路的工作状态的调控。
在一种可能的实现方式中，公开了一种电子设备，其包括了上述人工智能芯片。电子设备包括数据处理装置、机器人、电脑、打印机、扫描仪、平板电脑、智能终端、手机、行车记录仪、导航仪、传感器、摄像头、服务器、云端服务器、相机、摄像机、投影仪、手表、耳机、移动存储、可穿戴设备、交通工具、家用电器、和/或医疗设备。
所述交通工具包括飞机、轮船和/或车辆；所述家用电器包括电视、空调、微波炉、冰箱、电饭煲、加湿器、洗衣机、电灯、燃气灶、油烟机；所述医疗设备包括核磁共振仪、B超仪和/或心电图仪。
依据以下条款可更好地理解前述内容：
A1.一种用于调整数据位宽的方法，其特征在于，所述方法包括：
获取用于针对待量化数据执行量化处理的数据位宽，所述数据位宽指示所述待量化数据在经过所述量化处理后的量化后数据的位宽；
基于所述数据位宽，针对一组待量化数据执行量化处理，以将所述一组待量化数据转换至一组量化后数据，所述一组量化后数据具有所述数据位宽；
比较所述一组待量化数据和所述一组量化后数据，确定与所述数据位宽相关联的量化误差；以及
基于确定的所述量化误差来调整所述数据位宽。
A2.根据条款A1所述的方法，其特征在于，比较所述一组待量化数据和所述一组量化后数据，确定与所述数据位宽相关联的量化误差包括：
根据所述数据位宽确定量化间隔；以及
根据所述量化间隔、所述一组量化后数据以及所述一组待量化数据确定所述量化误差。
A3.根据条款A2所述的方法，其特征在于，根据所述量化间隔、所述一组量化后数据以及所述一组待量化数据确定所述量化误差包括：
根据所述量化间隔，针对所述一组量化后数据进行反量化，以获得一组反量化数据，其中所述一组反量化数据的数据格式与所述一组待量化数据的数据格式相同；以及
根据所述一组反量化数据和所述一组待量化数据，确定量化误差。
A4.根据条款A1至A3中的任一项所述的方法，其特征在于，基于确定的所述量化误差来调整所述数据位宽包括：
比较所述量化误差与预设阈值，所述预设阈值包括第一阈值和第二阈值中的至少一个；以及
根据所述比较的结果来调整所述数据位宽。
A5.根据条款A4所述的方法，其特征在于，根据所述比较的结果来调整所述数据位宽包括：
响应于确定所述量化误差大于或等于第一阈值，增加所述数据位宽。
A6.根据条款A5所述的方法，其特征在于，增加所述数据位宽包括：
根据第一预设位宽步长增加所述数据位宽，以确定调整后数据位宽。
A7.根据条款A6所述的方法，其特征在于，进一步包括：
基于所述调整后数据位宽，针对所述一组待量化数据执行量化处理，以将所述一组待量化数据转换至另一组量化后数据，所述另一组量化后数据具有所述调整后数据位宽；以及
比较所述一组待量化数据和所述另一组量化后数据，确定与所述调整后数据位宽相关联的另一量化误差，直至所述另一量化误差小于所述第一预设阈值。
A8.根据条款A7所述的方法，其特征在于，所述方法迭代地被执行。
A9.根据条款A4所述的方法，其特征在于，根据所述比较的结果来调整所述数 据位宽包括：
响应于确定所述量化误差小于或等于所述第二阈值，减少所述数据位宽。
A10.根据条款A9所述的方法，其特征在于，减少所述数据位宽包括：
根据第二预设位宽步长减少所述数据位宽，以确定调整后数据位宽。
A11.根据条款A10所述的方法，其特征在于，进一步包括：
基于所述调整后数据位宽，针对所述一组待量化数据执行量化处理，以将所述一组待量化数据转换至另一组量化后数据，所述另一组量化后数据具有所述调整后数据位宽；以及
基于所述一组待量化数据和所述另一组量化后数据，确定与所述调整后数据位宽相关联的另一量化误差，直至所述另一量化误差大于所述第二预设阈值。
A12.根据条款A11所述的方法，其特征在于，所述方法迭代地被执行。
A13.根据条款A4所述的方法，其特征在于，根据所述比较的结果来调整所述数据位宽包括：
响应于确定所述量化误差处于所述第一阈值和所述第二阈值之间，保持所述数据位宽。
A14.根据条款A1至A13中的任一项所述的方法，其特征在于，进一步包括：
基于所述一组待量化数据和所述调整后数据位宽，更新用于针对所述一组待量化数据执行量化处理的量化参数；以及
基于更新的所述量化参数，针对所述一组待量化数据执行量化处理。
A15.根据条款A1所述的方法，其特征在于，进一步包括：
获取待量化数据的数据变动幅度；
根据所述待量化数据的数据变动幅度，确定目标迭代间隔，以根据所述目标迭代间隔调整所述数据位宽，所述目标迭代间隔包括至少一次迭代。
A16.根据条款A15所述的方法，其特征在于，所述获取待量化数据的数据变动幅度，包括：
获取点位置的变动幅度，其中所述点位置的变动幅度用于表征所述待量化数据的数据变动幅度，所述点位置的变动幅度与所述待量化数据的数据变动幅度正相关。
A17.根据条款A16所述的方法，其特征在于，所述获取点位置的变动幅度，包括：
根据当前检验迭代之前的上一检验迭代对应的点位置，以及所述上一检验迭代之前的历史迭代对应的点位置，确定第一均值，其中所述上一检验迭代为所述目标迭代间隔之前的上一迭代间隔对应的检验迭代；
根据所述当前检验迭代对应的点位置及所述当前检验迭代之前的历史迭代的点位置，确定第二均值；其中所述当前检验迭代对应的点位置根据所述当前检验迭代对应的目标数据位宽和待量化数据确定；
根据所述第一均值和所述第二均值确定第一误差，所述第一误差用于表征所述点 位置的变动幅度。
A18.根据条款A15所述的方法，其特征在于，所述根据所述待量化数据的数据变动幅度，确定目标迭代间隔，包括：
根据所述第一误差确定所述目标迭代间隔，所述目标迭代间隔与所述第一误差负相关。
A19.根据条款A15所述的方法，其特征在于，所述获取待量化数据的数据变动幅度，进一步包括：
获取所述数据位宽的变化趋势；
根据所述点位置的变动幅度和所述数据位宽的变化趋势，确定所述待量化数据的数据变动幅度。
A20.根据条款A19所述的方法，其特征在于，根据所述待量化数据的数据变动幅度，确定目标迭代间隔，进一步包括：
根据获取的第一误差和第二误差，确定所述目标迭代间隔；其中所述第一误差用于表征点位置的变动幅度，所述第二误差用于表征数据位宽的变化趋势。
A21.根据条款A20所述的方法，其特征在于，所述根据获取的所述第一误差和所述第二误差，确定所述目标迭代间隔，包括：
将所述第一误差和所述第二误差中最大值作为目标误差；
根据所述目标误差确定所述目标迭代间隔，其中，所述目标误差与所述目标迭代间隔负相关。
A22.根据条款A20或A21所述的方法，其特征在于，所述第二误差根据量化误差确定；
其中，所述量化误差根据所述当前检验迭代中待量化数据和所述当前检验迭代的量化数据确定，所述第二误差与所述量化误差正相关。
A23.根据条款A15至A22中的任一项所述的方法，其特征在于，所述方法用于神经网络的训练或微调，所述方法进一步包括：
当所述当前迭代大于第一预设迭代时，则根据所述待量化数据的数据变动幅度确定目标迭代间隔，并根据所述目标迭代间隔调整所述量化参数。
A24.根据条款A23所述的方法，其特征在于，所述方法进一步包括：
当所述当前迭代小于或等于所述第一预设迭代时，则将第一预设迭代间隔作为所述目标迭代间隔，并根据所述第一预设迭代间隔调整所述量化参数。
A25.根据条款A23或A24所述的方法，其特征在于，所述方法进一步包括：
当所述当前迭代大于或等于第二预设迭代时，则将第二预设迭代间隔作为所述目标迭代间隔，并根据所述第二预设迭代间隔调整所述量化参数；
其中，所述第二预设迭代大于所述第一预设迭代，所述第二预设迭代间隔大于所述第一预设迭代间隔。
A26.根据条款A25所述的方法，其特征在于，所述方法进一步包括：
当所述神经网络的收敛程度满足预设条件时，则确定所述当前检验迭代大于或等于第二预设迭代。
A27、根据条款A25所述的方法，其特征在于，所述方法进一步包括：
当所述当前迭代大于或等于第二预设迭代，且第二误差大于预设误差值时，则根据所述待量化数据的数据变动幅度确定迭代间隔，以根据所述迭代间隔重新确定所述数据位宽。
A28.一种调整数据位宽的装置，其特征在于，包括：
获取模块，用于获取用于针对待量化数据执行量化处理的数据位宽，所述数据位宽指示所述待量化数据在经过所述量化处理后的量化后数据的位宽；
量化模块，用于基于所述数据位宽，针对一组待量化数据执行量化处理，以将所述一组待量化数据转换至一组量化后数据，所述一组量化后数据具有所述数据位宽；
确定模块，用于比较所述一组待量化数据和所述一组量化后数据，确定与所述数据位宽相关联的量化误差；以及
调整基于确定的所述量化误差来调整所述数据位宽。
A29.根据条款A28所述的装置，其特征在于，所述比较模块包括：
间隔确定模块，用于根据所述数据位宽确定量化间隔；以及
误差确定模块，用于根据所述量化间隔、所述一组量化后数据以及所述一组待量化数据确定所述量化误差。
A30.根据条款A29所述的装置，其特征在于，所述误差确定模块包括：
量化模块，用于根据所述量化间隔，针对所述一组量化后数据进行反量化，以获得一组反量化数据，其中所述一组反量化数据的数据格式与所述一组待量化数据的数据格式相同；以及
量化误差确定模块，用于根据所述一组反量化数据和所述一组待量化数据，确定量化误差。
A31.根据条款A28至A30中的任一项所述的装置，其特征在于，所述调整模块包括：
比较模块，用于比较所述量化误差与预设阈值，所述预设阈值包括第一阈值和第二阈值中的至少一个；以及
位宽调整模块，用于根据所述比较的结果来调整所述数据位宽。
A32.根据条款A31所述的装置，其特征在于，所述位宽调整模块包括：
增加模块，用于响应于确定所述量化误差大于或等于第一阈值，增加所述数据位宽。
A33.根据条款A32所述的装置，其特征在于，所述增加模块包括：
步长增加模块，用于根据第一预设位宽步长增加所述数据位宽，以确定调整后数据位宽。
A34.根据条款A33所述的装置，其特征在于：
所述量化模块进一步用于基于所述调整后数据位宽，针对所述一组待量化数据执行量化处理，以将所述一组待量化数据转换至另一组量化后数据，所述另一组量化后数据具有所述调整后数据位宽；以及
所述确定模块进一步用于比较所述一组待量化数据和所述另一组量化后数据，确定与所述调整后数据位宽相关联的另一量化误差，直至所述另一量化误差小于所述第一预设阈值。
A35.根据条款A34所述的装置，其特征在于，所述装置迭代地被调用。
A36.根据条款A31所述的装置，其特征在于，所述调整模块包括：
减少模块，用于响应于确定所述量化误差小于或等于所述第二阈值，减少所述数据位宽。
A37.根据条款A36所述的装置，其特征在于，所述减少模块包括：
步长减小模块，用于根据第二预设位宽步长减少所述数据位宽，以确定调整后数据位宽。
A38.根据条款A37所述的装置，其特征在于：
所述量化模块进一步用于基于所述调整后数据位宽，针对所述一组待量化数据执行量化处理，以将所述一组待量化数据转换至另一组量化后数据，所述另一组量化后数据具有所述调整后数据位宽；以及
所述确定模块进一步用于基于所述一组待量化数据和所述另一组量化后数据，确定与所述调整后数据位宽相关联的另一量化误差，直至所述另一量化误差大于所述第二预设阈值。
A39.根据条款A38所述的装置，其特征在于，所述装置迭代地被调用。
A40.根据条款A31所述的装置，其特征在于，所述调整模块包括：
保持模块，用于响应于确定所述量化误差处于所述第一阈值和所述第二阈值之间，保持所述数据位宽。
A41.根据条款A28至A40中的任一项所述的装置，其特征在于，进一步包括：
更新模块，用于基于所述一组待量化数据和所述调整后数据位宽，更新用于针对所述一组待量化数据执行量化处理的量化参数；以及
所述量化模块进一步用于基于更新的所述量化参数，针对所述一组待量化数据执行量化处理。
A42.根据条款A28所述的装置，其特征在于，进一步包括：
幅度模块，用于获取待量化数据的数据变动幅度；
间隔模块，用于根据所述待量化数据的数据变动幅度，确定目标迭代间隔，以根据所述目标迭代间隔调整所述数据位宽，所述目标迭代间隔包括至少一次迭代。
A43.根据条款A42所述的装置，其特征在于，所述幅度模块包括：
点位置模块，用于获取点位置的变动幅度，其中所述点位置的变动幅度用于表征所述待量化数据的数据变动幅度，所述点位置的变动幅度与所述待量化数据的数据变 动幅度正相关。
A44.根据条款A43所述的装置，其特征在于，所述点位置模块，包括：
第一均值模块，用于根据当前检验迭代之前的上一检验迭代对应的点位置，以及所述上一检验迭代之前的历史迭代对应的点位置，确定第一均值，其中所述上一检验迭代为所述目标迭代间隔之前的上一迭代间隔对应的检验迭代；
第二均值模块，用于根据所述当前检验迭代对应的点位置及所述当前检验迭代之前的历史迭代的点位置，确定第二均值；其中所述当前检验迭代对应的点位置根据所述当前检验迭代对应的目标数据位宽和待量化数据确定；
第一误差模块，用于根据所述第一均值和所述第二均值确定第一误差，所述第一误差用于表征所述点位置的变动幅度。
A45.根据条款A42所述的装置，其特征在于，所述间隔模块包括：
第一间隔模块，用于根据所述第一误差确定所述目标迭代间隔，所述目标迭代间隔与所述第一误差负相关。
A46.根据条款A42所述的装置，其特征在于，所述幅度模块进一步包括：
趋势模块，用于获取所述数据位宽的变化趋势；
数据变动幅度模块，用于根据所述点位置的变动幅度和所述数据位宽的变化趋势，确定所述待量化数据的数据变动幅度。
A47.根据条款A46所述的装置，其特征在于，所述间隔模块，进一步包括：
迭代间隔模块，用于根据获取的第一误差和第二误差，确定所述目标迭代间隔；其中所述第一误差用于表征点位置的变动幅度，所述第二误差用于表征数据位宽的变化趋势。
A48.根据条款A47所述的装置，其特征在于，所述迭代间隔模块包括：
目标误差模块，用于将所述第一误差和所述第二误差中最大值作为目标误差；
目标迭代间隔模块，用于根据所述目标误差确定所述目标迭代间隔，其中，所述目标误差与所述目标迭代间隔负相关。
A49.根据条款A47或A48所述的装置，其特征在于，所述第二误差根据量化误差确定；
其中，所述量化误差根据所述当前检验迭代中待量化数据和所述当前检验迭代的量化数据确定，所述第二误差与所述量化误差正相关。
A50.根据条款A42至A49中的任一项所述的装置，其特征在于，所述装置用于神经网络的训练或微调，所述装置进一步包括：
第一迭代模块，用于当所述当前迭代大于第一预设迭代时，则根据所述待量化数据的数据变动幅度确定目标迭代间隔，并根据所述目标迭代间隔调整所述量化参数。
A51.根据条款A50所述的装置，其特征在于，所述装置进一步包括：
第二迭代模块，用于当所述当前迭代小于或等于所述第一预设迭代时，则将第一预设迭代间隔作为所述目标迭代间隔，并根据所述第一预设迭代间隔调整所述量化参 数。
A52.根据条款A50或A51所述的装置，其特征在于，所述装置进一步包括：
第三迭代模块，用于当所述当前迭代大于或等于第二预设迭代时，则将第二预设迭代间隔作为所述目标迭代间隔，并根据所述第二预设迭代间隔调整所述量化参数；
其中，所述第二预设迭代大于所述第一预设迭代，所述第二预设迭代间隔大于所述第一预设迭代间隔。
A53.根据条款A52所述的装置，其特征在于，所述装置进一步包括：
收敛模块，用于当所述神经网络的收敛程度满足预设条件时，则确定所述当前检验迭代大于或等于第二预设迭代。
A54、根据条款A52所述的装置，其特征在于，所述装置进一步包括：
当所述当前迭代大于或等于第二预设迭代，且第二误差大于预设误差值时，则根据所述待量化数据的数据变动幅度确定迭代间隔，以根据所述迭代间隔重新确定所述数据位宽。
A55.一种计算机可读存储介质，其特征在于其上存储有计算机程序，所述程序被执行时实现根据条款A1-A27中的任一项所述的方法。
A56.一种人工智能芯片，其特征在于，所述芯片包括根据条款A28至A54中的任一项所述的用于处理数据的装置。
A57.一种电子设备，其特征在于，所述电子设备包括根据条款56所述的人工智能芯片。
A58.一种板卡，其特征在于，所述板卡包括：存储器件、接口装置和控制器件以及根据条款56所述的人工智能芯片；
其中，所述人工智能芯片与所述存储器件、所述控制器件以及所述接口装置相连接；
所述存储器件，用于存储数据；
所述接口装置，用于实现所述人工智能芯片与外部设备之间的数据传输；以及
所述控制器件，用于对所述人工智能芯片的状态进行监控。
A59.根据条款A58所述的板卡，其特征在于，
所述存储器件包括：多组存储单元，每组存储单元与所述人工智能芯片通过总线连接，所述存储单元为DDR SDRAM；
所述芯片包括：DDR控制器，用于对每个所述存储单元的数据传输与数据存储的控制；
所述接口装置为标准PCIE接口。
为了解决神经网络量化的问题，我们提出了如下的方案(201910505239.7)。具体地，提供了神经网络量化方法及装置以及相关产品。
本披露涉及人工智能技术领域，尤其涉及一种神经网络量化方法及装置以及相关产品。
随着人工智能技术的不断发展，其应用领域越来越广泛，在图像识别、语音识别、自然语言处理等领域中都得到了良好的应用。然而，随着人工智能算法的复杂度提高，需要处理的数据量和数据维度都在不断增大，如何在运算效率和运算结果的准确度之间进行平衡，是人工智能领域亟待解决的问题。
有鉴于此，本披露提出了一种神经网络量化技术方案。
根据本披露的一方面，提供了一种神经网络量化方法，对于所述神经网络中的任意一层待量化层，所述方法包括：
确定与所述待量化层中每种待量化数据对应的量化参数，所述待量化数据包括神经元、权值、偏置、梯度中的至少一种；
将待量化数据根据对应的量化参数进行量化，得到量化数据，以使所述神经网络根据所述量化数据执行运算。
根据本披露的另一方面，提供了一种神经网络量化装置，所述装置用于量化所述神经网络中的任意一层待量化层，所述装置包括：
量化参数确定模块，用于确定与所述待量化层中每种待量化数据对应的量化参数，所述待量化数据包括神经元、权值、偏置、梯度中的至少一种；
量化模块，用于将待量化数据根据对应的量化参数进行量化，得到量化数据，以使所述神经网络根据所述量化数据执行运算。
根据本披露的另一方面，提供了一种人工智能芯片，所述芯片包括上述神经网络量化装置。
根据本披露的另一方面，提供了一种电子设备，所述电子设备包括如上所述的人工智能芯片。
根据本披露的另一方面，提供了一种板卡，所述板卡包括：存储器件、接口装置和控制器件以及如上所述的人工智能芯片；其中，所述人工智能芯片与所述存储器件、所述控制器件以及所述接口装置分别连接；所述存储器件，用于存储数据；所述接口装置，用于实现所述人工智能芯片与外部设备之间的数据传输；所述控制器件，用于对所述人工智能芯片的状态进行监控。
在本披露实施例中，对于所述神经网络中的任意一层待量化层，确定与所述待量化层中每种待量化数据对应的量化参数，所述待量化数据包括神经元、权值、偏置、梯度中的至少一种；将待量化数据根据对应的量化参数进行量化，得到量化数据，以使所述神经网络根据所述量化数据执行运算。采用更加符合各层待量化数据的量化参数对各待量化层进行量化，可以在保证各层运算结果准确率的前提下，提高各层的运算效率。也可以在保证神经网络整体的运算结果准确率的前提下，提高神经网络整体的运算效率。
根据下面参考附图对示例性实施例的详细说明，本披露的其它特征及方面将变得清楚。
包含在说明书中并且构成说明书的一部分的附图与说明书一起示出了本披露的示例性实施例、特征和方面，并且用于解释本披露的原理。
图2-1示出根据本披露实施例的神经网络量化方法的流程图。
图2-2示出根据本披露实施例的神经网络量化方法的流程图。
图2-3示出根据本披露实施例的神经网络量化方法的流程图。
图2-4示出根据本披露实施例的神经网络量化方法的流程图。
图2-5示出根据本披露实施例的神经网络量化方法中量化参数不包括偏移量时，量化前后的数据对应示意图。
图2-6示出根据本披露实施例的神经网络量化方法的流程图。
图2-7示出根据本披露实施例的神经网络量化方法中量化参数包括偏移量时，量化前后的数据对应示意图。
图2-8示出根据本披露实施例的神经网络量化方法的流程图。
图2-9示出根据本披露实施例的神经网络量化方法的流程图。
图2-10示出根据本披露实施例的神经网络量化方法的流程图。
图2-11示出根据本披露实施例的神经网络量化方法的流程图。
图2-12示出根据本披露实施例的神经网络量化方法的流程图。
图2-13示出根据本披露实施例的神经网络量化方法的流程图。
图2-14示出根据本披露实施例的神经网络量化方法的流程图。
图2-15示出根据本披露实施例的神经网络量化方法的流程图。
图2-16示出根据本披露实施例的神经网络量化方法的流程图。
图2-17示出根据本披露实施例的神经网络量化方法的流程图。
图2-18示出根据本披露实施例的神经网络量化方法的流程图。
图2-19示出根据本披露实施例的神经网络量化方法的流程图。
图2-20示出根据本披露实施例的神经网络量化方法的流程图。
图2-21示出根据本披露实施例的神经网络量化方法的流程图。
图2-22示出根据本披露实施例的神经网络量化方法的流程图。
图2-23示出根据本披露实施例的神经网络量化方法的流程图。
图2-24示出根据本披露实施例的神经网络量化方法的流程图。
图2-25示出根据本披露实施例的神经网络量化方法的流程图。
图2-26示出根据本披露实施例的神经网络量化装置的示意图。
图2-27示出根据本披露实施例的神经网络量化装置的示意图。
图2-28示出根据本披露实施例的神经网络量化装置的示意图。
图2-29示出根据本披露实施例的神经网络量化装置的示意图。
图2-30示出根据本披露实施例的神经网络量化装置的示意图。
图2-31示出根据本披露实施例的板卡的结构框图。
为了解决神经网络量化的问题，我们提出了如下的方案(201910505239.7)。下面将结合本披露实施例中的附图，对本披露实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本披露一部分实施例，而不是全部的实施例。基于本披露中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本披露保 护的范围。
应当理解，本披露的权利要求、说明书及附图中的术语“第一”、“第二”、“第三”和“第四”等是用于区别不同对象，而不是用于描述特定顺序。本披露的说明书和权利要求书中使用的术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在此本披露说明书中所使用的术语仅仅是出于描述特定实施例的目的，而并不意在限定本披露。如在本披露说明书和权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。还应当进一步理解，在本披露说明书和权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。
另外，为了更好的说明本披露，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本披露同样可以实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述，以便于凸显本披露的主旨。
神经网络中待运算数据通常为浮点数据格式或精度较高的定点数据格式，在承载神经网络的芯片中运行神经网络时，浮点数据格式或精度较高的定点数据格式的各种待运算数据，导致神经网络运行的运算量和访存开销都较大。为提高运算效率，可以将神经网络中的待运算数据进行量化，量化后的数据格式通常为位宽较短、精度较低的定点数据格式。利用精度较低的量化后数据执行神经网络的运算，可以降低运算量和访存量。量化后的数据格式可以为位宽较短的定点数据格式。可以将浮点数据格式的待运算数据量化为定点数据格式的待运算数据，也可以将精度较高的定点格式的待运算数据量化为精度较低的定点格式的待运算数据。
可以理解的是，量化精度即量化后数据与量化前数据之间的误差的大小。量化精度可以影响神经网络运算结果的准确度。化精度越高，运算结果的准确率越高，但运算量更大、访存开销也更大。相较于位宽较短的量化后数据，位宽较长的量化后数据的量化精度更高，用于执行神经网络的运算时准确率也更高。但在用于进行神经网络的运算时，位宽较长的量化后数据运算量更大、访存开销也较大，运算效率较低。同理，对于相同的待量化数据，采用不同的量化参数得到的量化后数据有不同的量化精度，将产生不同的量化结果，对运算效率和运算结果的准确率也会带来不同的影响。对神经网络进行量化，在运算效率和运算结果的准确率之间进行平衡，可以采用更加符合待运算数据的数据特征的量化后数据位宽和量化参数。
神经网络中的待运算数据可以包括权值、神经元、偏置、梯度，在传统的对神经网络中的待运算数据进行量化时，通常为整个神经网络设置相同的量化参数。例如，神经网络中包括4个卷积层2个全连接层，待运算数据为神经元(通常为输入神经元)，可以为神 经网络设置一套用于量化的量化参数A，并利用量化参数A对4个卷积层和2个全连接层的神经元进行量化。由于神经网络中各层的神经元不同，各层所用的算法也不同，利用相同的量化参数对各层进行量化，量化参数不能适应各层的神经元的特征，导致神经网络的整体量化精度低，运算结果的准确率低。另，如果在为神经网络设置一套量化参数时，因考虑运算结果的准确率、提高量化精度，设置一套位宽较长的量化后位宽，又会降低神经网络的运算效率。因此，传统的神经网络的量化方法，无法在提高量化精度和提高运算效率之间进行有效的平衡。
图2-1示出根据本披露实施例的神经网络量化方法的流程图。该神经网络量化方法可应用于通用处理器(例如中央处理器CPU、图形处理器GPU)和专用处理器(例如人工智能处理器、科学计算处理器或数字信号处理器等)中，本披露对神经网络量化方法所应用的处理器的类型不作限制。
如图2-1所示，对于所述神经网络中的任意一层待量化层，所述神经网络量化方法包括：
步骤S10，确定与所述待量化层中每种待量化数据对应的量化参数，所述待量化数据包括神经元、权值、偏置、梯度中的至少一种。
神经网络中的待量化层可以为神经网络中的任意一层。可以根据需求将神经网络中的部分层或全部层确定为待量化层。当神经网络中包括多个待量化层时，各待量化层可以连续也可以不连续。根据神经网络的不同，待量化层的种类也可以不同，例如待量化层可以为卷积层、全连接层等，本披露对待量化层的数量及类型不做限定。
在一种可能的实现方式中，所述待量化数据包括神经元、权值、偏置、梯度中的至少一种。
用于执行待量化层运算的运算数据可以包括神经元、权值、偏置和梯度。可以根据需求，将待量化层中的神经元、权值、偏置、梯度中的至少一种作为待量化数据。当待量化层中有多种待量化数据时，针对每种待量化数据可以采用本披露中的量化方法进行量化后，得到与每种待量化数据对应的量化数据，再利用各种量化数据和不需要进行量化的运算数据执行待量化层的运算。进一步的，可以根据需求，将待量化层中各种运算数据中的全部数据或部分数据确定为待量化数据，本披露对此不做限定。
神经网络运算的推理阶段可包括：将训练好的神经网络进行前向运算以完成设定任务的阶段。在神经网络的推理阶段，可以将神经元、权值、偏置和梯度中的至少一种作为待量化数据，根据本披露实施例中的方法进行量化后，利用量化后的数据完成待量化层的运算。
神经网络运算的微调阶段可包括：将训练好的神经网络进行预设数量迭代的前向运算和反向运算，进行参数的微调以适应设定任务的阶段。在神经网络运算的微调阶段，可以将神经元、权值、偏置、梯度中的至少一种，根据本披露实施例中的方法进行量化后，利用量化后的数据完成待量化层的前向运算或反向运算。
神经网络运算的训练阶段可包括：将初始化的神经网络进行迭代训练以得到训练好的 神经网络的阶段，训练好的神经网络可执行特定任务。在神经网络的训练阶段，可以将神经元、权值、偏置、梯度中的至少一种，根据本披露实施例中的方法进行量化后，利用量化后的数据完成待量化层的前向运算或反向运算。
待量化层对应的量化参数可以为一个量化参数，也可以为多个量化参数。
量化参数可以包括点位置等用于对待量化数据进行量化的参数。点位置可以用于确定量化后数据中小数点的位置。量化参数还可以包括缩放系数、偏移量等。当神经网络中包括多个待量化层时，各待量化层均可以有对应的量化参数，且各待量化层对应的量化参数可以不同，也可以相同，本披露对此不做限定。
对于待量化层中不同的待量化数据，可以对应不同的量化参数。例如，待量化层1中的神经元可以对应量化参数1，待量化层1中的权值可以对应量化参数2。确定待量化层中与每种待量化数据对应的量化参数的方式，可以包括查找预设的量化参数直接确定量化参数的方式、查找对应关系以确定量化参数的方式，或根据待量化数据计算得到量化参数的方式。例如：
可以为神经网络中的待量化层设定与待量化层中每种待量化数据对应的量化参数。可以将设定好的量化参数存储于设定的存储空间。设定的存储空间可以为片上或片外的存储空间。例如，可以将设定好的量化参数以层标识进行区分并存储于设定的存储空间。各待量化层在进行量化时，可以在设定的存储空间提取对应的量化参数后进行量化。可以根据经验值设定与每种待量化数据对应的量化参数。也可以根据需求更新设定好的与每种待量化数据对应的量化参数，例如可以根据前一层的量化参数更新后一层的量化参数。
可以根据各待量化层中的待量化数据的数据特征或待量化层的层特征，通过查找数据特征与量化参数的对应关系，或查找层特征与量化参数的对应关系，确定量化参数。例如，待量化数据的数据分布为稀疏和稠密时可以分别对应不同的量化参数。可以通过查找对应关系确定与待量化数据的数据分布对应的量化参数。又如，待量化层为卷积层或全连接层时可以分别对应不同的量化参数，当待量化层为卷积层时可以查找与卷积层对应的量化参数。
还可以根据各待量化层中的待量化数据，利用设定的量化参数计算方法，计算得到各待量化层对应的量化参数。例如，可以根据待量化数据的绝对值最大值和预设的数据位宽，利用取整算法计算得到量化参数中的点位置。
步骤S20，将待量化数据根据对应的量化参数进行量化，得到量化数据，以使所述神经网络根据所述量化数据执行运算。
可以利用设定的量化算法，根据量化参数对待量化数据进行量化，得到量化数据。例如，可以利用取整算法作为量化算法，可以根据数据位宽和点位置对待量化数据进行取整量化得到量化数据。其中，取整算法可以包括向上取整、向下取整、向零取整和四舍五入取整等。本披露对量化算法的具体实现方式不做限定。
当神经网络中有多个待量化层时，各待量化层中的每种待量化数据可以分别采用对应的量化参数进行量化。由于与各待量化数据对应的量化参数更为贴合各待量化数据自身特 征，因此各待量化层的每种量化数据的量化精度更加符合本层的运算需求。在保证本层运算结果准确率的前提下，能够提高本层的运算效率，达到本层的运算效率和运算结果准确率之间的平衡。对于神经网络整体，实现各待量化层的运算结果的准确率和运算效率之间的平衡，也就实现了神经网络整体运算结果的准确率和运算效率之间的平衡。
在神经网络的推理、训练和微调过程中，可以对目标数据进行离线量化或在线量化。其中，离线量化可以为利用量化参数对待量化数据进行离线处理。在线量化可以为利用量化参数对待量化数据进行在线处理。例如，神经网络运行在人工智能芯片上，可以将待量化数据和量化参数发送至人工智能芯片之外的运算装置进行离线量化，或利用人工智能芯片之外的运算装置对预先得到的待量化数据和量化参数进行离线量化。而在人工智能芯片运行神经网络的过程中，人工智能芯片可以对待量化数据利用量化参数进行在线量化。在神经网络中包括多个待量化层时，各待量化层可以分别进行在线量化和离线量化。本披露中对各待量化层的量化过程为在线或离线不作限定。
在本实施例中，对于所述神经网络中的任意一层待量化层，确定与所述待量化层中每种待量化数据对应的量化参数，所述待量化数据包括神经元、权值、偏置、梯度中的至少一种；将待量化数据根据对应的量化参数进行量化，得到量化数据，以使所述神经网络根据所述量化数据执行运算。采用更加符合各层待量化数据的量化参数对各待量化层进行量化，可以在保证各层运算结果准确率的前提下，提高各层的运算效率。也可以在保证神经网络整体的运算结果准确率的前提下，提高神经网络整体的运算效率。
在一种可能的实现方式中，所述量化参数包括点位置、缩放系数和偏移量中的至少一种，其中，所述点位置为量化后小数点的位置，所述缩放系数为量化后数据的最大值与待量化数据的最大绝对值之间的比值，所述偏移量为待量化数据的中间值。
在一种可能的实现方式中，量化参数可以包括点位置。可以利用如下的公式(1)对待量化数据进行量化，得到量化数据I x：
Figure PCTCN2019106801-appb-000091
其中，s为点位置，I x为量化数据，F x为待量化数据，round为进行四舍五入的取整运算。可以理解的是，也可以采用其他的取整运算方法，例如采用向上取整、向下取整、向零取整等取整运算，替换公式(1)中的四舍五入的取整运算。可以理解的是，在数据位宽一定的情况下，根据点位置量化得到的量化数据中，小数点后的位数越多，量化数据的量化精度越大。
在一种可能的实现方式中，量化参数可以包括缩放系数。可以利用如下的公式(2)对待量化数据进行量化，得到量化数据I x：
Figure PCTCN2019106801-appb-000092
其中，f为缩放系数，I x为量化数据，F x为待量化数据，round为进行四舍五入的取整运算。可以理解的是，也可以采用其他的取整运算方法，例如采用向上取整、向下取整、向零取整等取整运算，替换公式(2)中的四舍五入的取整运算。可以理解的是，在数据位宽一定的情况下，采用不同的缩放系数，可以调整量化后数据的数值范围。
在一种可能的实现方式中，量化参数可以包括偏移量。可以利用如下的公式(3)对待量化数据进行量化，得到量化数据I x：
I x＝round(F x-o)     公式(3)
其中，o为偏移量，I x为量化数据，F x为待量化数据，round为进行四舍五入的取整运算。可以理解的是，也可以采用其他的取整运算方法，例如采用向上取整、向下取整、向零取整等取整运算，替换公式(3)中的四舍五入的取整运算。可以理解的是，在数据位宽一定的情况下，采用不同的偏移量，可以调整量化后数据的数值与量化前数据之间的偏移量。
在一种可能的实现方式中，量化参数可以包括点位置和缩放系数。可以利用如下的公式(4)对待量化数据进行量化，得到量化数据I x：
Figure PCTCN2019106801-appb-000093
其中，s为点位置，f为缩放系数，I x为量化数据，F x为待量化数据，round为进行四舍五入的取整运算。可以理解的是，也可以采用其他的取整运算方法，例如采用向上取整、向下取整、向零取整等取整运算，替换公式(4)中的四舍五入的取整运算。
在一种可能的实现方式中，量化参数可以包括点位置和偏移量。可以利用如下的公式(5)对待量化数据进行量化，得到量化数据I x：
Figure PCTCN2019106801-appb-000094
其中，s为点位置，o为偏移量，I x为量化数据，F x为待量化数据，round为进行四舍五入的取整运算。可以理解的是，也可以采用其他的取整运算方法，例如采用向上取整、向下取整、向零取整等取整运算，替换公式(5)中的四舍五入的取整运算。
在一种可能的实现方式中，量化参数可以包括点位置、缩放系数和偏移量。可以利用如下的公式(6)对待量化数据进行量化，得到量化数据I x：
Figure PCTCN2019106801-appb-000095
其中，s为点位置，f为缩放系数，o为偏移量，I x为量化数据，F x为待量化数据，round为进行四舍五入的取整运算。可以理解的是，也可以采用其他的取整运算方法，例如采用向上取整、向下取整、向零取整等取整运算，替换公式(6)中的四舍五入的取整运算。
在本实施例中，量化参数包括点位置、缩放系数和偏移量中的至少一种。采用不同的量化参数的组合对待量化数据进行量化，可以产生不同精度的量化结果。可以根据需求对量化参数进行灵活组合后按需取用。
图2-2示出根据本披露实施例的神经网络量化方法的流程图。如图2-2所示，所述神经网络量化方法中的步骤S10，包括：
步骤S11，通过查找待量化数据与量化参数对应关系，确定与所述待量化层中每种待量化数据对应的量化参数。
在一种可能的实现方式中，各待量化层中与每种待量化数据对应的量化参数，可以是保存的预设值。可以为神经网络建立一个待量化数据与量化参数之间的对应关系，该对应 关系可以包括各待量化层的每种待量化数据与量化参数对应关系，并将对应关系保存在各层可以共享访问的存储空间。也可以为神经网络建立多个待量化数据与量化参数之间的对应关系，各待量化层分别对应其中一个对应关系。可以将各层的对应关系保存在本层独享的存储空间，也可以将各层的对应关系保存在各层可以共享访问的存储空间。
在待量化数据与量化参数对应关系中，可以包括多个待量化数据和与之对应的多个量化参数之间的对应关系。例如，待量化数据与量化参数对应关系A中，可以包括待量化层1的神经元和权值两个待量化数据，神经元对应点位置1、缩放系数1和偏移量1三个量化参数，权值对应点位置2和偏移量2两个量化参数。本披露对待量化数据与量化参数对应关系的具体格式不做限定。
在本实施例中，可以通过查找待量化数据与量化参数对应关系，确定与所述待量化层中每种待量化数据对应的量化参数。可以为各待量化层预设对应的量化参数，并通过对应关系进行存储后，供待量化层查找后使用。本实施例中量化参数的获取方式简单方便。
图2-3示出根据本披露实施例的神经网络量化方法的流程图。如图2-3所示，所述神经网络量化方法中的步骤S10，包括：
步骤S12，根据每种待量化数据和对应的数据位宽计算得到对应的量化参数。
可以为各待量化数据预设相应的数据位宽n。可以根据数据位宽n和各待量化数据计算得到与各待量化数据对应的量化参数。根据待量化数据自身计算得到的量化参数，更加符合待量化数据自身的特征。
可以在神经网络的推理、训练和微调过程中，待量化数据可以为神经元、权值、偏置中的至少一个。对于训练和微调过程，待量化数据还可以包括梯度。可以在神经网络的推理、训练和微调过程中，根据在线获取到的各待量化数据和与之对应的数据位宽，计算与各待量化数据对应的量化参数。
在本实施例中，根据每种待量化数据和对应的数据位宽计算得到对应的量化参数。根据在线的待量化数据计算得到的量化参数，能够更加符合神经网络待量化层中各种待量化数据自身的量化需求。
图2-4示出根据本披露实施例的神经网络量化方法的流程图。如图2-4所示，所述神经网络量化方法中步骤S12，包括：
步骤S121，当所述量化参数不包括偏移量时，根据目标数据中的绝对值最大值和所述目标数据对应的数据位宽，得到所述目标数据的点位置，所述目标数据为任意一种待量化数据。
在一种可能的实现方式中，量化参数可以包括多个参数，当量化参数不包括偏移量时，量化参数可以包括点位置和缩放系数中的至少一个。当量化参数不包括偏移量时，可以将任一待量化数据作为目标数据。目标数据可以为神经元、权值、偏置和梯度中的任意一种。
目标数据可以包括由多个元素组成的数据。可以在目标数据的各元素中确定最大值和最小值，并根据最大值的绝对值和最小值的绝对值得到目标数据中的绝对值最大值。也可以确定目标数据中各元素的绝对值，并根据各元素的绝对值得到目标数据中的绝对值最大 值。
图2-5示出根据本披露实施例的神经网络量化方法中量化参数不包括偏移量时，量化前后的数据对应示意图。如图2-5所示，Z 1为目标数据中的绝对值最大值，目标数据对应的数据位宽n为8，A为用数据位宽n量化目标数据后可以表示的最大值，A为2 s(2 n-1-1)。A需要包含Z 1，且Z 1要大于
Figure PCTCN2019106801-appb-000096
可以用公式(7)对此进行约束：
2 s(2 n-1-1)≥Z 1>2 s-1(2 n-1-1)    公式(7)
可以根据目标数据中的绝对值最大值和数据位宽，计算得到目标数据的点位置。例如，可以利用如下公式(8)计算得到量化参数不包括偏移量时，目标数据的点位置s：
Figure PCTCN2019106801-appb-000097
其中，ceil为向上取整，Z 1为目标数据中的绝对值最大值，s为点位置，n为目标数据对应的数据位宽。
在本实施例中，当所述量化参数不包括偏移量时，根据目标数据中的绝对值最大值和所述目标数据对应的数据位宽，得到所述目标数据的点位置。根据目标数据计算得到与之对应的点位置，可以更加符合目标数据自身的特征，使得目标数据的量化精度更高。
图2-6示出根据本披露实施例的神经网络量化方法的流程图。如图2-6所示，所述神经网络量化方法中步骤S12，包括：
步骤S122，当所述量化参数不包括偏移量时，根据目标数据和所述目标数据对应的数据位宽得到所述目标数据量化后数据的最大值，所述目标数据为任意一种待量化数据；
步骤S123，根据目标数据中的绝对值最大值和所述目标数据量化后数据的最大值，得到所述目标数据的缩放系数。
目标数据中的绝对值最大值可参照上述实施例中的相关阐述。
可以利用公式(9)计算得到量化参数不包括偏移量时，目标数据的缩放系数f:
Figure PCTCN2019106801-appb-000098
其中，A为量化参数不包括偏移量时，目标数据量化后数据的最大值，可以利用公式(10)计算A：
Figure PCTCN2019106801-appb-000099
在本实施例中，当量化参数不包括偏移量时，可以根据目标数据中的绝对值最大值和目标数据对应的数据位宽，计算得到目标数据对应的缩放系数。根据目标数据计算得到与之对应的缩放系数，可以更加符合目标数据自身的特征，使得目标数据的量化精度更高。
图2-7示出根据本披露实施例的神经网络量化方法中量化参数包括偏移量时，量化前后的数据对应示意图。如图2-7所示，A1和A2为用n量化目标数据后可以表示的最大值和最小值，Z min为目标数据中所有元素的最小值，Z max为目标数据中所有元素的最大值，
Figure PCTCN2019106801-appb-000100
可以将目标数据按照偏移量o进行平移后，再进行量化。
图2-8示出根据本披露实施例的神经网络量化方法的流程图。如图2-8所示，所述神经网络量化方法中步骤S12，包括：
步骤S124，当所述量化参数包括偏移量时，根据所述目标数据中的最大值、所述目标数据中的最小值和所述目标数据对应的数据位宽，得到所述目标数据的点位置，所述目标数据为任意一种待量化数据。
在一种可能的实现方式中，当量化参数包括偏移量时，量化参数还可以包括点位置、缩放系数中的至少一个。如图2-7所示，可以根据公式(11)计算得到量化参数包括偏移量时目标数据的点位置s：
Figure PCTCN2019106801-appb-000101
其中，ceil为向上取整，s为点位置，n为目标数据对应的数据位宽。
在本实施例中，当量化参数包括偏移量时，可以根据目标数据中的最大值、最小值和目标数据对应的数据位宽，计算得到目标数据对应的点位置。根据目标数据计算得到与之对应的点位置，可以更加符合目标数据自身的特征，使得目标数据的量化精度更高。
图2-9示出根据本披露实施例的神经网络量化方法的流程图。如图2-9所示，所述神经网络量化方法中步骤S12，包括：
步骤S125，当所述量化参数包括偏移量时，根据目标数据和所述目标数据对应的数据位宽得到所述目标数据量化后数据的最大值，所述目标数据为任意一种待量化数据；
步骤S126，根据所述目标数据中的最大值、所述目标数据中的最小值和所述目标数据量化后数据的最大值，得到所述目标数据的缩放系数。
在一种可能的实现方式中，当量化参数包括偏移量时，量化参数还可以包括点位置、缩放系数中的至少一个。如图2-7所示，可以根据公式(12)计算得到量化参数包括偏移量时目标数据的缩放系数f：
Figure PCTCN2019106801-appb-000102
在本实施例中，当量化参数包括偏移量时，可以根据目标数据中的最大值、最小值和目标数据对应的数据位宽，计算得到目标数据对应的缩放系数。根据目标数据计算得到与之对应的缩放系数，可以更加符合目标数据自身的特征，使得目标数据的量化精度更高。
图2-10示出根据本披露实施例的神经网络量化方法的流程图。如图2-10所示，所述神经网络量化方法中步骤S12，包括：
步骤S127，根据目标数据中的最大值和最小值，得到所述目标数据的偏移量，所述目标数据为任意一种待量化数据。
在一种可能的实现方式中，如图2-7所示，可以利用公式(13)计算得到量化参数包括偏移量时目标数据的偏移量o：
Figure PCTCN2019106801-appb-000103
在本实施例中，当量化参数包括偏移量时，可以根据目标数据中的最大值、最小值和目标数据对应的数据位宽，计算得到目标数据对应的偏移量。根据目标数据计算得到与之对应的偏移量，可以更加符合目标数据自身的特征，使得目标数据的量化精度更高。
图2-11示出根据本披露实施例的神经网络量化方法的流程图。如图2-11所示，所述 神经网络量化方法还包括：
步骤S30，根据目标数据和所述目标数据对应的量化数据，确定所述目标数据的量化误差，所述目标数据为任意一种待量化数据。
可以根据目标数据对应的量化数据与目标数据之间的误差，确定目标数据的量化误差。可以利用设定的误差计算方法，例如标准差计算方法、均方根误差计算方法等，计算目标数据的量化误差。
也可以根据量化参数，将目标数据对应的量化数据进行反量化后得到反量化数据，根据反量化数据与目标数据之间的误差，确定目标数据的量化误差。
当量化参数包括点位置时，可以根据公式(14)对目标数据的量化数据进行反量化，得到目标数据的反量化数据
Figure PCTCN2019106801-appb-000104
Figure PCTCN2019106801-appb-000105
其中：round为四舍五入的取整运算，
Figure PCTCN2019106801-appb-000106
为目标数据的反量化数据，s为目标数据对应的点位置。
当量化参数包括缩放系数时，可以根据公式(15)对目标数据的量化数据进行反量化，得到目标数据的反量化数据
Figure PCTCN2019106801-appb-000107
Figure PCTCN2019106801-appb-000108
其中：round为进行四舍五入的取整运算。
Figure PCTCN2019106801-appb-000109
为目标数据的反量化数据，f为缩放系数。
当量化参数包括偏移量时，可以根据公式(16)对目标数据的量化数据进行反量化，得到目标数据的反量化数据
Figure PCTCN2019106801-appb-000110
Figure PCTCN2019106801-appb-000111
其中：round为进行四舍五入的取整运算。
Figure PCTCN2019106801-appb-000112
为目标数据的反量化数据，o为缩放系数。
当量化参数包括点位置和缩放系数时，可以根据公式(17)对目标数据的量化数据进行反量化，得到目标数据的反量化数据
Figure PCTCN2019106801-appb-000113
Figure PCTCN2019106801-appb-000114
当量化参数包括点位置和偏移量时，可以根据公式(18)对目标数据的量化数据进行反量化，得到目标数据的反量化数据
Figure PCTCN2019106801-appb-000115
Figure PCTCN2019106801-appb-000116
当量化参数包括缩放系数和偏移量时，可以根据公式(19)对目标数据的量化数据进行反量化，得到目标数据的反量化数据
Figure PCTCN2019106801-appb-000117
Figure PCTCN2019106801-appb-000118
当量化参数包括点位置、缩放系数和偏移量时，可以根据公式(20)对目标数据的量化数据进行反量化，得到目标数据的反量化数据
Figure PCTCN2019106801-appb-000119
Figure PCTCN2019106801-appb-000120
可以通过计算量化间隔相关的方法，例如可以通过公式(21)计算得到目标数据与目标数据对应的反量化数据之间的误差diff bit：
Figure PCTCN2019106801-appb-000121
其中，p为目标数据中的各元素的数量，s为目标数据的点位置。A的取值可以根据量化参数进行确定，当量化参数包括点位置s时，A＝2 s；当量化参数包括点位置s和缩放系数f时，A＝2 s×f。
也可以通过计算两个数据的均值之间的差的方法，例如通过公式(22)计算得到目标数据与目标数据对应的反量化数据之间的误差diff bit：
Figure PCTCN2019106801-appb-000122
也可以通过计算两个数据的差之间的均值的方法，例如通过公式(23)计算得到目标数据与目标数据对应的反量化数据之间的误差diff bit：
Figure PCTCN2019106801-appb-000123
步骤S40，根据所述量化误差和误差阈值，调整所述目标数据对应的数据位宽，得到所述目标数据对应的调整位宽。
可以根据经验值确定误差阈值，误差阈值可以用于表示对量化误差的期望值。当量化误差大于或小于误差阈值时，可以调整目标数对应的数据位宽，得到目标数据对应的调整位宽。可以将数据位宽调整为更长的位宽或更短的位宽，以提高或降低量化精度。
可以根据能够接受的最大误差确定误差阈值，当量化误差大于误差阈值时，说明量化精度不能达到预期，需要将数据位宽调整为更长的位宽。也可以根据较高的量化精度确定一个较小的误差阈值，当量化误差小于误差阈值时，说明量化精度较高，神经网络的运行效率将受到影响，可以适当的将数据位宽调整为更短的位宽，以适当的降低量化精度，提高神经网络的运行效率。
可以将数据位宽按照固定的位数步长进行调整，也可以根据量化误差与误差阈值之间的差值的不同，按照可变的调整步长调整数据位宽。本披露对此不做限定。
步骤S50，将所述目标数据对应的数据位宽更新为所述调整位宽，根据所述目标数据和所述调整位宽计算得到对应的调整量化参数，以使所述神经网络根据所述调整量化参数进行量化。
确定调整位宽后，可以将目标数据对应的数据位宽更新为调整位宽。例如，目标数据更新前的数据位宽为8位，调整位宽为12位，则更新后目标数据对应的数据位宽为12位。可以根据调整位宽和目标数据计算得到目标数据对应的调整量化参数。可以根据目标数据对应的调整量化参数重新对目标数据进行量化，以得到量化精度更高或更低的量化数据，使得待量化层在量化精度和处理效率之间达到平衡。
在神经网络的推理、训练和微调过程中，各层之间的待量化数据可以认为具有一定的关联性。例如，各层的待量化数据之间的均值之间的差小于设定的均值阈值，且各层的待 量化数据之间的最大值之间的差值也小于设定的差值阈值时，可以将待量化层的调整量化参数作为后续的一个或多个层的调整量化参数，用于对待量化层后续的一个或多个层的待量化数据进行量化。也可以在神经网络的训练和微调过程中，将待量化层在当前迭代得到的调整量化参数，用于在后续的迭代中对待量化层进行量化。
在一种可能的实现方式中，所述方法还包括：
在所述待量化层之后的一层或多层采用所述待量化层的量化参数。
神经网络根据调整量化参数进行量化，可以包括只在待量化层利用调整量化参数对待量化数据重新进行量化，并将重新得到的量化数据用于待量化层的运算。也可以包括在待量化层不使用调整量化参数重新对待量化数据进行量化，而在待量化层后续的一个或多个层使用调整量化参数进行量化，和/或后续的迭代中在待量化层使用调整量化参数进行量化。还可以包括在待量化层使用调整量化参数重新进行量化，并将重新得到的量化数据用于待量化层的运算，并且在待量化层后续的一个或多个层使用调整量化参数进行量化，和/或后续的迭代中在待量化层使用调整量化参数进行量化。本披露对此不作限定。
在本实施例中，根据目标数据和目标数据对应的量化数据，确定目标数据的量化误差，目标数据为任意一种待量化数据；所述量化误差和误差阈值，调整目标数据对应的数据位宽，得到目标数据对应的调整位宽；将目标数据对应的数据位宽更新为调整位宽，根据目标数据和调整位宽计算得到对应的调整量化参数，以使神经网络根据调整量化参数进行量化。根据目标数据和量化数据之间的误差调整数据位宽，并根据调整后的数据位宽计算得到调整量化参数。通过设置不同的误差阈值可以得到不同的调整量化参数，达到提高量化精度或提高运行效率等不同的量化需求。根据目标数据和目标数据的量化数据计算得到的调整量化参数，也能够更加符合目标数据自身的数据特征，达到更加符合目标数据自身需求的量化结果，在量化精度和处理效率之间达到更好的平衡。
图2-12示出根据本披露实施例的神经网络量化方法的流程图。如图2-12所示，所述神经网络量化方法中步骤S40，包括：
步骤S41，当所述量化误差大于所述第一误差阈值时，增加所述目标数据对应的数据位宽，得到所述目标数据对应的调整位宽。
可以根据能够接受的最大的量化误差，确定第一误差阈值。可以将量化误差与第一误差阈值进行比较。当量化误差大于第一误差阈值时，可以认为量化误差已经不可接受。需要提高量化精度，可以通过增加目标数据对应的数据位宽的方式，提高目标数据的量化精度。
可以将目标数据对应的数据位宽按照固定的调整步长增加，得到调整位宽。固定的调整步长可以为N位，N为正整数。每次调整数据位宽可以增加N位。每次增加后的数据位宽＝原数据位宽+N位。
可以将目标数据对应的数据位宽按照可变的调整步长增加，得到调整位宽。例如，当量化误差与误差阈值之间的差值大于第一阈值时，可以按照调整步长M1调整数据位宽，当量化误差与误差阈值之间的差值小于第一阈值时，可以按照调整步长M2调整数据位宽， 其中，第一阈值大于第二阈值，M1大于M2。可以根据需求确定各可变的调整步长。本披露对数据位宽的调整步长及调整步长是否可变不做限定。
可以将目标数据按照调整位宽计算得到调整后的量化参数。利用调整后的量化参数对目标数据进行重新量化后得到的量化数据，比利用调整前的量化参数量化得到的量化数据的量化精度更高。
图2-13示出根据本披露实施例的神经网络量化方法的流程图。如图2-13所示，所述神经网络量化方法还包括：
步骤S42，根据所述调整位宽和所述目标数据计算所述目标数据调整后的量化误差；
步骤S43，根据所述调整后的量化误差和所述第一误差阈值继续增加所述调整位宽，直至根据调整位宽和所述目标数据计算得到的调整后的量化误差小于或等于所述第一误差阈值。
根据量化误差增加目标数据对应的数据位宽时，调整一次位宽后得到调整位宽，根据调整位宽计算得到调整后的量化参数，根据调整后的量化参数量化目标数据得到调整后的量化数据，再根据调整后的量化数据与目标数据计算得到目标数据调整后的量化误差，调整后的量化误差可能依然大于第一误差阈值，即根据调整一次的数据位宽可能不能满足调整目的。当调整后的量化误差依然大于第一误差阈值时，可以继续对调整后的数据位宽进行调整，即多次增加目标数据对应的数据位宽，直至根据最终得到的调整位宽和目标数据得到的调整后的量化误差小于第一误差阈值。
多次增加的调整步长可以是固定的调整步长，也可以是可变的调整步长。例如，最终的数据位宽＝原数据位宽+A*N位，其中N为每次增加的固定的调整步长，A为数据位宽的增加次数。最终的数据位宽＝原数据位宽+M1+M2+…+Mm,其中，M1、M2…Mm为每次增加的可变的调整步长。
在本实施例中，当量化误差大于第一误差阈值时，增加所述目标数据对应的数据位宽，得到所述目标数据对应的调整位宽。可以通过设置第一误差阈值和调整步长增加数据位宽，以使调整后的数据位宽能够满足量化的需求。当一次调整不能满足调整需求时，还可以对数据位宽进行多次调整。第一误差阈值和调整步长的设置，使得量化参数可以按照量化需求进行灵活调整，满足不同的量化需求，使得量化精度可根据自身数据特征进行自适应调整。
图2-14示出根据本披露实施例的神经网络量化方法的流程图。如图2-14所示，所述神经网络量化方法中步骤S40，包括：
步骤S44，当所述量化误差小于所述第二误差阈值时，减少所述目标数据对应的数据位宽，所述第二误差阈值小于所述第一误差阈值。
可以根据能够接受的量化误差和期望的神经网络的运行效率，确定第二误差阈值。可以将量化误差与第二误差阈值进行比较。当量化误差小于第二误差阈值时，可以认为量化误差超出预期，但运行效率过低已经不可接受。可以降低量化精度以提高神经网络的运行效率，可以通过减少目标数据对应的数据位宽的方式，降低目标数据的量化精度。
可以将目标数据对应的数据位宽按照固定的调整步长减少，得到调整位宽。固定的调整步长可以为N位，N为正整数。每次调整数据位宽可以减少N位。增加后的数据位宽＝原数据位宽-N位。
可以将目标数据对应的数据位宽按照可变的调整步长减少，得到调整位宽。例如，当量化误差与误差阈值之间的差值大于第一阈值时，可以按照调整步长M1调整数据位宽，当量化误差与误差阈值之间的差值小于第一阈值时，可以按照调整步长M2调整数据位宽，其中，第一阈值大于第二阈值，M1大于M2。可以根据需求确定各可变的调整步长。本披露对数据位宽的调整步长及调整步长是否可变不做限定。
可以将目标数据按照调整位宽计算得到调整后的量化参数，利用调整后的量化参数对目标数据进行重新量化后得到的量化数据，比利用调整前的量化参数量化得到的量化数据的量化精度更低。
图2-15示出根据本披露实施例的神经网络量化方法的流程图。如图2-15所示，所述神经网络量化方法还包括：
步骤S45，根据所述调整位宽和所述目标数据计算所述目标数据调整后的量化误差；
步骤S46，根据所述调整后的量化误差和所述第二误差阈值继续减少所述调整位宽，直至根据调整位宽和所述目标数据计算得到的调整后的量化误差大于或等于所述第二误差阈值。
根据量化误差增加目标数据对应的数据位宽时，调整一次位宽后得到调整位宽，根据调整位宽计算得到调整后的量化参数，根据调整后的量化参数量化目标数据得到调整后的量化数据，再根据调整后的量化数据与目标数据计算得到目标数据调整后的量化误差，调整后的量化误差可能依然小于第二误差阈值，即根据调整一次的数据位宽可能不能满足调整目的。当调整后的量化误差依然小于第二误差阈值时，可以继续对调整后的数据位宽进行调整，即多次减少目标数据对应的数据位宽，直至根据最终得到的调整位宽和目标数据得到的调整后的量化误差大于第二误差阈值。
多次减少的调整步长可以是固定的调整步长，也可以是可变的调整步长。例如，最终的数据位宽＝原数据位宽-A*N位，其中N为每次增加的固定的调整步长，A为数据位宽的增加次数。最终的数据位宽＝原数据位宽-M1-M2-…-Mm,其中，M1、M2…Mm为每次减少的可变的调整步长。
在本实施例中，当量化误差小于第二误差阈值时，减少所述目标数据对应的数据位宽，得到所述目标数据对应的调整位宽。可以通过设置第二误差阈值和调整步长减少数据位宽，以使调整后的数据位宽能够满足量化的需求。当一次调整不能满足调整需求时，还可以对数据位宽进行多次调整。第二误差阈值和调整步长的设置，使得量化参数可以按照量化需求进行灵活的自适应调整，满足不同的量化需求，使得量化精度可调，在量化精度和神经网络的运行效率之间达到平衡。
在一种可能的实现方式中，所述方法还包括：
当所述量化误差大于第一误差阈值时，增加所述目标数据对应的数据位宽，以及当所 述量化误差小于第二误差阈值时，减少所述目标数据对应的数据位宽，得到所述目标数据对应的调整位宽。
也可以同时设置两个误差阈值，其中，第一误差阈值用于表示量化精度过低，可以增加数据位宽的位数，第二误差阈值用于表示量化精度过高，可以减少数据位宽的位数。第一误差阈值大于第二误差阈值，可以将目标数据的量化误差同时与两个误差阈值进行比较，当量化误差大于第一误差阈值时，增加数据位宽的位数，当量化误差小于第二误差阈值时，减少数据位宽的位数。当量化误差位于第一误差阈值和第二误差阈值之间时，数据位宽可以保持不变。
在本实施例中，通过将量化误差与第一误差阈值和第二误差阈值同时进行比较，可以根据比较结果增加或减少数据位宽，可以利用第一误差阈值和第二误差阈值更加灵活的调整数据位宽。使得数据位宽的调整结果更加符合量化需求。
图2-16示出根据本披露实施例的神经网络量化方法的流程图。如图2-16所示，在所述神经网络运算的微调阶段和/或训练阶段，所述方法还包括：
步骤S60，获取当前迭代以及历史迭代中目标数据的数据变动幅度，所述历史迭代为所述当前迭代之前的迭代。
在神经网络运算的微调阶段和/或训练阶段包括多个迭代。神经网络中的各待量化层，在进行一次正向运算和一次反向运算，并对待量化层的权值进行更新后，完成一次迭代。在多次迭代中，待量化层中的目标数据和/或目标数据对应的量化数据的数据变动幅度，可以用于衡量在不同迭代中的目标数据和/或量化数据是否可采用相同的量化参数进行量化。若当前迭代以及历史迭代中目标数据的数据变动幅度较小，例如小于设定的幅度变动阈值时，可以在数据变动幅度较小的多个迭代中采用相同的量化参数。
可以通过提取预存的量化参数的方式，确定与目标数据对应的量化参数。在不同的迭代中对目标数据进行量化时，需要在各迭代提取与目标数据对应的量化参数。若多个迭代的目标数据和/或目标数据对应的量化数据的数据变动幅度较小，可将在数据变动幅度较小的多个迭代中采用的相同的量化参数进行暂存，各迭代在进行量化时可以利用暂存的量化参数进行量化运算，不用在每次迭代提取量化参数。
也可以根据目标数据和数据位宽计算得到量化参数。在不同的迭代中对目标数据进行量化时，需要在各迭代分别计算量化参数。若多个迭代的目标数据和/或目标数据对应的量化数据的数据变动幅度较小，可在数据变动幅度较小的多个迭代中采用的相同的量化参数，则各迭代均可以直接使用其中第一个迭代计算得到的量化参数，而不是每次迭代计算量化参数。
可以理解的是，当目标数据为权值时，各迭代之间的权值在不断更新，若多个迭代的权值的数据变动幅度较小，或多个迭代的权值对应的量化数据的数据变动幅度较小，可以在多个迭代中利用相同的量化参数对权值进行量化。
步骤S70，根据所述目标数据的数据变动幅度，确定所述目标数据对应的目标迭代间隔，以使所述神经网络根据所述目标迭代间隔更新所述目标数据的量化参数，所述目标迭 代间隔包括至少一次迭代，所述目标数据为任意一种待量化数据。
可以根据目标数据的数据变动幅度确定目标迭代间隔，目标迭代间隔包括至少一次迭代，可以在目标迭代间隔内的各迭代使用相同的量化参数，即在目标迭代间隔内的各迭代不再更新目标数据的量化参数。神经网络根据目标迭代间隔更新目标数据的量化参数，包括在目标迭代间隔内的迭代，不获取预设的量化参数或不计算量化参数，即在目标迭代间隔内的迭代不更新量化参数。而在目标迭代间隔外的迭代，再获取预设的量化参数或计算量化参数，即在目标迭代间隔外的迭代更新量化参数。
可以理解的是，多个迭代之间的目标数据或目标数据的量化数据的数据变动幅度越小，确定出的目标迭代间隔包括的迭代次数越多。可以根据计算得到的数据变动幅度，查找预设的数据变动幅度与迭代间隔的对应关系，确定与计算得到的数据变动幅度对应的目标迭代间隔。可以根据需求预设数据变动幅度与迭代间隔的对应关系。也可以根据计算得到的数据变动幅度，利用设定的计算方法计算得到目标迭代间隔。本披露不限定数据变动幅度的计算方式，以及目标迭代间隔的获取方式。
在本实施例中，在神经网络运算的微调阶段和/或训练阶段，获取当前迭代以及历史迭代中目标数据的数据变动幅度，根据所述目标数据的数据变动幅度，确定目标数据对应的目标迭代间隔，以使所述神经网络根据所述目标迭代间隔更新所述目标数据的量化参数。可以根据多个迭代中目标数据或目标数据对应的量化数据的数据变动幅度，确定目标迭代间隔。神经网络可以根据目标迭代间隔确定是否更新量化参数。由于目标迭代间隔所包括的多个迭代的数据变动幅度较小，目标迭代间隔内的迭代不更新量化参数也可以保证量化精度。而目标迭代间隔内的多个迭代不更新量化参数，可以减少量化参数的提取次数或计算次数，从而提高神经网络的运算效率。
图2-17示出根据本披露实施例的神经网络量化方法的流程图。如图2-17所示，所述神经网络量化方法还包括：
步骤S80，根据所述目标数据在所述当前迭代的数据位宽，确定所述目标数据在所述目标迭代间隔内的迭代对应的数据位宽，以使所述神经网络根据所述目标数据在所述目标迭代间隔内的迭代对应的数据位宽，确定量化参数。
如本披露上述实施例所述，目标数据的量化参数可以预设，也可以根据目标数据对应的数据位宽计算得到。而不同待量化层中目标数据对应的数据位宽，或相同待量化层中目标数据在不同迭代中对应的数据位宽，可以根据本披露上述实施例中的方式进行自适应调整。
当目标数据的数据位宽不可自适应调整，为预设的数据位宽时，可以根据目标数据在当前迭代的预设的数据位宽，确定目标数据在目标迭代间隔内的迭代对应的数据位宽。在目标迭代间隔内的各迭代可不使用自身的预设值。
当目标数据的数据位宽可自适应调整时，可以根据目标数据在当前迭代对应的数据位宽，确定目标数据在目标迭代间隔内的迭代对应的数据位宽。在数据位宽可自适应调整时，数据位宽可进行一次调整或多次调整。可以将目标数据在当前迭代进行自适应调整后的数 据位宽，作为目标迭代间隔内的各迭代对应的数据位宽，在目标迭代间隔内的各迭代不再对数据位宽进行自适应调整(更新)。目标数据在当前迭代可以使用自适应调整后的数据位宽，也可以使用自适应调整前的数据位宽，本披露对此不作限定。
在目标迭代间隔以外的其他迭代，由于目标数据的数据变动幅度不满足设定条件，可以根据本披露上述的方法对数据位宽进行自适应调整，得到更加符合当前迭代的目标数据的数据位宽，也可使用本披露中的目标迭代间隔的计算方法，计算得到新的目标迭代间隔并使用，从而在保证目标迭代间隔以外的迭代的量化精度的同时，提高神经网络的运行效率。
在目标迭代间隔内的各迭代的数据位宽相同，各迭代可以根据相同的数据位宽各自计算得到对应的量化参数。量化参数可以包括点位置、缩放系数和偏移量中的至少一种。可以在目标迭代间隔内的各迭代，根据相同的数据位宽分别计算得到量化参数。量化参数包括点位置、缩放系数和偏移量时，在目标迭代间隔内的各迭代，可利用相同的数据位宽，分别计算各自对应的点位置、缩放系数和偏移量。
在根据当前迭代的数据位宽，确定目标迭代间隔内各迭代的数据位宽的同时，可以根据当前迭代的量化参数，确定目标迭代间隔内各迭代的对应的量化参数。目标迭代间隔内各迭代的量化参数，也不再重新根据相同的数据位宽计算得到，可以进一步提高神经网络的运算效率。可以根据当前迭代的全部量化参数或部分量化参数，确定目标迭代间隔内各迭代的对应的量化参数。当根据当前迭代的部分量化参数，确定目标迭代间隔内各迭代的对应的量化参数时，剩余部分的量化参数，在目标迭代间隔内各迭代仍需计算。
例如，量化参数包括点位置、缩放系数和偏移量。可以根据当前迭代的数据位宽和点位置，确定目标迭代间隔内各迭代的数据位宽和点位置。则目标迭代间隔内各迭代的缩放系数和偏移量需要根据相同的数据位宽计算得到。也可以根据当前迭代的数据位宽、点位置、缩放系数和偏移量，确定目标迭代间隔内各迭代的数据位宽、点位置、缩放系数和偏移量，则目标迭代间隔内各迭代的各量化参数均不需要计算得到。
在本实施例中，根据目标数据在当前迭代对应的数据位宽，确定目标数据在目标迭代间隔内的迭代对应的数据位宽，以使神经网络根据目标数据在目标迭代间隔内的迭代对应的数据位宽，确定量化参数。在目标迭代间隔内的各迭代的数据位宽，根据当前迭代的数据位宽确定，由于目标迭代间隔内各迭代的目标数据的数据变化幅度满足设定的条件，利用相同的数据位宽计算得到的量化参数，可以保证目标迭代间隔内的各迭代的量化精度。目标迭代间隔内各迭代使用相同的数据位宽，也可以提高神经网络的运算效率。在对神经网络进行量化后运算结果的准确率和神经网络的运算效率之间，达到平衡。
图2-18示出根据本披露实施例的神经网络量化方法的流程图。如图2-18所示，所述神经网络量化方法还包括：
步骤S90，根据所述目标数据在所述当前迭代对应的点位置，确定所述目标数据在所述目标迭代间隔内的迭代对应的点位置。
在量化参数中，相对于缩放系数和偏移量，不同的点位置对相同目标数据的量化结果 产生的影响较大。可以根据目标数据在当前迭代对应的点位置，确定目标迭代间隔内的迭代对应的点位置。当数据位宽不可自适应调整时，可以将目标数据在当前迭代预设的点位置，作为目标数据在目标迭代间隔内各迭代对应的点位置，也可以将目标数据在当前迭代根据预设的数据位宽计算得到的点位置，作为目标数据在目标迭代间隔内各迭代对应的点位置。当数据位宽可自适应调整时，可以将目标数据在当前迭代调整后的点位置，作为目标数据在目标迭代间隔内各迭代对应的点位置。
根据所述目标数据在所述当前迭代对应的点位置，确定所述目标数据在所述目标迭代间隔内的迭代对应的点位置的同时，也可以根据目标数据在当前迭代对应的缩放系数，确定所述目标数据在所述目标迭代间隔内的迭代对应的缩放系数，和/或根据目标数据在当前迭代对应的偏移量，确定所述目标数据在所述目标迭代间隔内的迭代对应的偏移量。
根据所述目标数据在所述当前迭代对应的点位置，确定所述目标数据在所述目标迭代间隔内的迭代对应的点位置的同时，还可以根据目标数据在当前迭代对应的数据位宽，确定所述目标数据在所述目标迭代间隔内的迭代对应的数据位宽，其中，目标数据在当前迭代对应的数据位宽，可以是当前迭代预设的数据位宽或自适应调整后的数据位宽。
在本实施例中，根据目标数据在当前迭代对应的点位置，确定目标数据在目标迭代间隔内的迭代对应的点位置。在目标迭代间隔内的各迭代的点位置，根据当前迭代的点位置确定，由于目标迭代间隔内各迭代的目标数据的数据变化幅度满足设定的条件，利用相同的点位置，可以保证目标迭代间隔内的各迭代的量化精度。目标迭代间隔内各迭代使用相同的点位置，也可以提高神经网络的运算效率。在对神经网络进行量化后运算结果的准确率和神经网络的运算效率之间，达到平衡。
图2-19示出根据本披露实施例的神经网络量化方法的流程图。如图2-19所示，所述神经网络量化方法中步骤S60，包括：
步骤S61，根据目标数据在当前迭代的点位置，和根据历史迭代间隔确定的与所述当前迭代对应的历史迭代的点位置，计算目标数据对应各迭代间隔的点位置的滑动平均值；
步骤S62，根据所述目标数据在当前迭代的点位置的第一滑动平均值，以及在上一迭代间隔对应迭代的点位置的第二滑动平均值，得到第一数据变动幅度；
所述步骤S70，包括：
步骤S71，根据所述第一数据变动幅度，确定所述目标数据对应的目标迭代间隔，以使所述神经网络根据所述目标迭代间隔更新所述目标数据的量化参数。
在一种可能的实现方式中，根据历史迭代间隔确定的与所述当前迭代对应的历史迭代，可以为计算目标迭代间隔的历史迭代。当前迭代与对应的目标迭代间隔之间的对应关系可以包括：
可以从当前迭代开始计数目标迭代间隔，并在当前迭代对应的目标迭代间隔结束后的下一个迭代开始重新计算目标迭代间隔。例如，当前迭代为第100代，目标迭代间隔为3，目标迭代间隔内的迭代包括：第100代、第101代和第102代，可以在第103代计算与第103代对应的目标迭代间隔，并以103代为新计算得到当目标迭代间隔内的第一个迭代。 此时，当前迭代为103代时，根据历史迭代间隔确定的与所述当前迭代对应的历史迭代为100代。
可以从当前迭代的下一个迭代开始计数目标迭代间隔，并在目标迭代间隔内的最后一个迭代开始重新计算目标迭代间隔。例如，当前迭代为第100代，目标迭代间隔为3，目标迭代间隔内的迭代包括：第101代、第102代和第103代，可以在第103代计算与第103代对应的目标迭代间隔，并以104代为新计算得到当目标迭代间隔内的第一个迭代。此时，当前迭代为103代时，根据历史迭代间隔确定的与所述当前迭代对应的历史迭代为100代。
可以从当前迭代的下一个迭代开始计数目标迭代间隔，并在目标迭代间隔结束后的下一个迭代开始重新计算目标迭代间隔。例如，当前迭代为第100代，目标迭代间隔为3，目标迭代间隔内的迭代包括：第101代、第102代和第103代，可以在第104代计算与第104代对应的目标迭代间隔，并以105代为新计算得到当目标迭代间隔内的第一个迭代。此时，当前迭代为104代时，根据历史迭代间隔确定的与所述当前迭代对应的历史迭代为100代。
可以根据需求确定当前迭代以及目标迭代间隔之间的其他的对应关系，例如可以从当前迭代之后的第N个迭代开始计数目标迭代间隔，N大于1，本披露对此不作限定。
可以理解的是，计算得到的目标数据对应各迭代间隔的点位置的滑动平均值，包括目标数据在当前迭代的点位置的第一滑动平均值，和目标数据在上一迭代间隔对应迭代的点位置的第二滑动平均值。可以利用公式(24)计算当前迭代对应点位置的第一滑动平均值m (t)：
m (t)←α×s (t)+(1-α)×m (t-1)    公式(24)
其中，t为当前迭代，t-1为根据上一迭代间隔确定的历史迭代，m (t-1)为根据上一迭代间隔确定的历史迭代的第二滑动平均值，s (t)为当前迭代的点位置，α为第一参数。第一参数可以为超参数。
在本实施例中，根据目标数据在当前迭代的点位置，和根据历史迭代间隔确定的与所述当前迭代对应的历史迭代的点位置，计算目标数据对应各迭代间隔的点位置的滑动平均值；根据目标数据在当前迭代的点位置的第一滑动平均值，以及在上一迭代间隔对应迭代的点位置的第二滑动平均值，得到第一数据变动幅度。根据第一数据变动幅度，确定所述目标数据对应的目标迭代间隔，以使所述神经网络根据所述目标迭代间隔更新所述目标数据的量化参数。由于第一数据变动幅度可以用于衡量点位置的变化趋势，使得目标迭代间隔可以跟随目标数据点位置的变化趋势而变化，也使得计算得到的各目标迭代间隔的大小可以根据目标数据点位置的变化趋势而变化。由于量化参数根据目标迭代间隔确定，也就使得根据量化参数进行量化得到的量化数据，能够更加符合目标数据的点位置的变动趋势，在保证量化精度的同时，提高神经网络的运行效率。
图2-20示出根据本披露实施例的神经网络量化方法的流程图。如图2-20所示，所示神经网络量化方法中步骤S62包括：
步骤S621，计算所述第一滑动平均值和所述第二滑动平均值的差值；
步骤S622，将所述差值的绝对值确定为第一数据变动幅度。
可以利用公式(25)计算第一数据变动幅度diff update1：
diff update1＝|m (t)-m (t-1)|＝α|s (t)-m (t-1)|     公式(25)
可以根据第一数据变动幅度，确定目标数据对应的目标迭代间隔，以使神经网络根据目标迭代间隔更新所述目标数据的量化参数。可以根据公式(26)计算得到目标迭代间隔I：
Figure PCTCN2019106801-appb-000124
其中，β为第二参数，γ为第三参数。第二参数和第三参数可以为超参数。
可以理解的是，第一数据变动幅度可以用于衡量点位置的变化趋势，第一数据变动幅度越大，说明量化数据的数值范围变化剧烈，在更新量化参数时需要间隔更短的目标迭代间隔I。
在本实施例中，计算所述第一滑动平均值和所述第二滑动平均值的差值；将差值的绝对值确定为第一数据变动幅度。根据滑动平均值之间的差值可以得到精确的第一数据变动幅度。
图2-21示出根据本披露实施例的神经网络量化方法的流程图。如图2-21所示，所述神经网络量化方法还包括：
步骤S63，根据在当前迭代所述目标数据和所述目标数据对应的量化数据，得到第二数据变动幅度；
所述步骤S70，包括：
步骤S72，根据所述目标数据的第一数据变动幅度和所述第二数据变动幅度，确定所述目标数据对应的目标迭代间隔，以使所述神经网络根据所述目标迭代间隔更新所述目标数据的量化参数。
可以根据在当前迭代所述目标数据和所述目标数据对应的量化数据，得到第二数据变动幅度。也可以根据在当前迭代所述目标数据和所述目标数据对应的反量化数据，得到第二数据变动幅度。
同样的，可以根据公式(23)计算得到在当前迭代中，所述目标数据和所述目标数据对应的反量化数据之间的第二数据变动幅度diff bit。也可以利用其它误差的计算方法，计算目标数据和反量化数据之间的第二数据变动幅度diff bit。本披露对此不作限定。
Figure PCTCN2019106801-appb-000125
其中，z i为目标数据，z i (n)为目标数据对应的反量化数据。可以理解的是，第二数据变动幅度可以用于衡量目标数据对应的数据位宽的变化趋势，第二数据变动幅度越大，目标数据越有可能需要更新对应的数据位宽，需要间隔更短的迭代进行更新，则第二数据变动幅度越大，需要目标迭代间隔更小。
在本实施例中，根据在当前迭代所述目标数据和所述目标数据对应的量化数据，得到第二数据变动幅度。根据所述目标数据的第一数据变动幅度和所述第二数据变动幅度，确定所述目标数据对应的目标迭代间隔，以使所述神经网络根据所述目标迭代间隔更新所述目标数据的量化参数。第二数据变动幅度可以用于衡量数据位宽的变动需求，则根据第一数据变动幅度和第二数据变动幅度计算得到的目标迭代间隔，可以同时跟踪点位置和数据位宽的变动，目标迭代间隔也可以更加符合目标数据自身的数据量化需求。
图2-22示出根据本披露实施例的神经网络量化方法的流程图。如图2-22所示，所述神经网络量化方法中步骤S63，包括：
步骤S631，计算在当前迭代所述目标数据和所述目标数据对应的量化数据之间的误差；
步骤S632，将所述误差的平方确定为所述第二数据变动幅度。
可以利用公式(27)计算得到第二数据变动幅度diff update2：
diff update2＝δ*diff bit 2   公式(27)
其中，δ为第四参数，第四参数可以为超参数。
可以理解的是，利用不同的数据位宽可以得到不同的量化参数，进而得到不同的量化数据，产生不同的第二数据变动幅度。第二数据变动幅度可以用于衡量数据位宽的变化趋势，第二数据变动幅度越大，说明需要更短的目标迭代间隔来更加频繁的更新数据位宽，即目标迭代间隔需要更小。
图2-23示出根据本披露实施例的神经网络量化方法的流程图。如图2-23所示，所述步骤S72，包括：
步骤S721，根据所述第一数据变动幅度和所述第二数据变动幅度中的最大值，确定所述目标数据对应的目标迭代间隔。
可以根据公式(28)计算得到目标迭代间隔：
Figure PCTCN2019106801-appb-000126
其中，β为第二参数，γ为第三参数。第二参数和第三参数可以为超参数。
可以理解的是，利用第一数据变动幅度和第二数据变动幅度得到的目标迭代间隔，可以同时衡量数据位宽和点位置的变化趋势，当两者中的其一的变化趋势较大时，便可以使得目标迭代间隔产生相应的变化。目标迭代间隔可以同时追踪数据位宽和点位置的变化并做出相应的调整。使得根据目标迭代间隔更新的量化参数能够更加符合目标数据的变动趋势，最终使得根据量化参数得到的量化数据能够更加符合量化需求。
图2-24示出根据本披露实施例的神经网络量化方法的流程图。如图2-24所示，所述神经网络量化方法中步骤S60，包括：
步骤S64，在当前迭代位于更新周期以外时，获取当前迭代以及历史迭代中目标数据的数据变动幅度，所述更新周期包括至少一个迭代。
在神经网络运算的训练过程和/或微调过程中，在训练开始或微调开始的多个迭代中，目标数据的变化幅度较大。若在训练开始或微调开始的多个迭代中计算目标迭代间隔，则计算得到的目标迭代间隔可能会失去其使用的意义。可以根据预设更新周期，在更新周期 以内的各迭代，不计算目标迭代间隔，也不适用目标迭代间隔使得多个迭代使用相同的数据位宽或点位置。
当迭代进行至更新周期以外时，即当前迭代位于更新周期以外时，获取当前迭代以及历史迭代中目标数据的数据变动幅度，并根据所述目标数据的数据变动幅度，确定所述目标数据对应的目标迭代间隔，以使所述神经网络根据所述目标迭代间隔更新所述目标数据的量化参数。例如，预设更新周期为100代，则自第1代开始至第100代的迭代中，不计算目标迭代间隔。当迭代进行至101代，即当前迭代为101代时，当前迭代位于更新周期以外，此时，可以根据第101代以及第1代至第100代的迭代中目标数据的数据变动幅度，确定第101代的目标数据对应的目标迭代间隔，并在第101代或与第101间隔预设代数的迭代中，使用计算得到的目标迭代间隔。
可以自预设的代数开始计数更新周期，例如可以自第一代开始计数更新周期中多个迭代，也可以自第N代开始计数更新周期中的多个迭代，本披露对此不作限定。
在本实施例中，当迭代进行至更新周期以外时计算并使用目标迭代间隔。可以避免在神经网络运算的训练过程或微调过程的初期，由于目标数据的变动幅度较大引起的目标迭代间隔使用意义不大的问题，可以在使用目标迭代间隔的情况下，进一步提高神经网络的运行效率。
图2-25示出根据本披露实施例的神经网络量化方法的流程图。如图2-25所示，所述神经网络量化方法还包括：
步骤S100，在当前迭代位于预设周期内时，根据当前迭代、在所述预设周期的下一周期中与所述当前迭代对应的迭代以及当前迭代对应的迭代间隔，确定周期间隔；
步骤S110，根据所述目标数据在当前迭代对应的数据位宽，确定在所述周期间隔内的迭代中所述目标数据的数据位宽；或
根据所述目标数据在当前迭代对应的点位置，确定在所述周期间隔内的迭代中所述目标数据的点位置。
在神经网络运算的训练过程或微调过程中，可以包括多个周期。各周期可以包括多个迭代。用于神经网络运算的数据被完整的运算一遍为一个周期。在训练过程中，随着迭代的进行，神经网络的权值变化趋于稳定，当训练稳定后，神经元、权值、偏置和梯度等待量化数据均趋于稳定。目标数据趋于稳定后，目标数据的数据位宽和量化参数也趋于稳定。同理，在微调过程中，微调稳定后，目标数据的数据位宽和量化参数也趋于稳定。
因此，可以根据训练稳定或微调稳定的周期确定预设周期。可以将训练稳定或微调稳定所在周期以后的周期，确定为预设周期。例如训练稳定的周期为第M个周期，则可以将第M个周期以后的周期作为预设周期。在预设周期内，可以每间隔一个周期计算一个目标迭代间隔，并根据计算得到的目标迭代间隔调整一次数据位宽或量化参数，以减少数据位宽或量化参数的更新次数，提高神经网络的运行效率。
例如，预设周期为第M个周期以后的周期。在第M+1个周期中，根据第M个周期中的第P个迭代计算得到的目标迭代间隔，截止至第M+1个周期中的第Q个迭代。根据第 M+1个周期中的第Q m+1个迭代计算得到与之对应的目标迭代间隔I m+1。在第M+2个周期中，与第M+1个周期中的第Q m+1个迭代对应的迭代为第Q m+2个迭代。在自第M+1个周期中的第Q m+1个迭代开始，直至第M+2个周期中第Q m+2+I m+1个迭代为止，为周期间隔。在周期间隔内的各迭代，均采用第M+1个周期中的第Q m+1个迭代确定的数据位宽或点位置等量化参数。
在本实施例中，可以设置周期间隔，在神经网络运算的训练或微调达到稳定后，根据周期间隔，每周期更新一次数据位宽或点位置等量化参数。周期间隔可以在训练稳定或微调稳定后，减少数据位宽或点位置的更新次数，在保证量化精度的同时，提高神经网络的运行效率。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本披露并不受所描述的动作顺序的限制，因为依据本披露，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于可选实施例，所涉及的动作和模块并不一定是本披露所必须的。
进一步需要说明的是，虽然图2-1至图2-6的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图图2-1至图2-6中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
图2-26示出根据本披露实施例的神经网络量化装置的示意图。如图2-26所示，本披露提供一种神经网络量化装置，所述装置用于量化所述神经网络中的任意一层待量化层，所述装置包括：
量化参数确定模块10，用于确定与所述待量化层中每种待量化数据对应的量化参数，所述待量化数据包括神经元、权值、偏置、梯度中的至少一种；
量化模块20，用于将待量化数据根据对应的量化参数进行量化，得到量化数据，以使所述神经网络根据所述量化数据执行运算。
在一种可能的实现方式中，所述量化参数包括点位置、缩放系数和偏移量中的至少一种，其中，
所述点位置为量化后小数点的位置，
所述缩放系数为量化后数据的最大值与待量化数据的最大绝对值之间的比值，
所述偏移量为待量化数据的中间值。
图2-27示出根据本披露实施例的神经网络量化装置的示意图。如图2-27所示，所述量化参数确定模块10，包括：
第一量化参数确定子模块11，用于通过查找待量化数据与量化参数对应关系，确定与 所述待量化层中每种待量化数据对应的量化参数。
在一种可能的实现方式中，所述量化参数确定模块10，包括：
第二量化参数确定子模块12，用于根据每种待量化数据和对应的数据位宽计算得到对应的量化参数。
在一种可能的实现方式中，所述第二量化参数确定子模块12，包括：
第一点位置计算单元121，用于当所述量化参数不包括偏移量时，根据目标数据中的绝对值最大值和所述目标数据对应的数据位宽，得到所述目标数据的点位置，所述目标数据为任意一种待量化数据。
在一种可能的实现方式中，所述第二量化参数确定子模块12，包括：
第一缩放系数计算单元122，用于当所述量化参数不包括偏移量时，根据目标数据和所述目标数据对应的数据位宽得到所述目标数据量化后数据的最大值，所述目标数据为任意一种待量化数据；根据目标数据中的绝对值最大值和所述目标数据量化后数据的最大值，得到所述目标数据的缩放系数。
在一种可能的实现方式中，所述第二量化参数确定子模块12，包括：
第二点位置计算单元123，用于当所述量化参数包括偏移量时，根据所述目标数据中的最大值、所述目标数据中的最小值和所述目标数据对应的数据位宽，得到所述目标数据的点位置，所述目标数据为任意一种待量化数据。
在一种可能的实现方式中，所述第二量化参数确定子模块12，包括：
第二缩放系数计算单元124，用于当所述量化参数包括偏移量时，根据目标数据和所述目标数据对应的数据位宽得到所述目标数据量化后数据的最大值，所述目标数据为任意一种待量化数据；根据所述目标数据中的最大值、所述目标数据中的最小值和所述目标数据量化后数据的最大值，得到所述目标数据的缩放系数。
在一种可能的实现方式中，所述第二量化参数确定子模块12，包括：
偏移量计算单元125，用于根据目标数据中的最大值和最小值，得到所述目标数据的偏移量，所述目标数据为任意一种待量化数据。
图2-28示出根据本披露实施例的神经网络量化装置的示意图。如图2-28所示，在一种可能的实现方式中，所述装置还包括：
量化误差确定模块30，用于根据目标数据和所述目标数据对应的量化数据，确定所述目标数据的量化误差，所述目标数据为任意一种待量化数据；
调整位宽确定模块40，用于根据所述量化误差和误差阈值，调整所述目标数据对应的数据位宽，得到所述目标数据对应的调整位宽；
调整量化参数确定模块50，用于将所述目标数据对应的数据位宽更新为所述调整位宽，根据所述目标数据和所述调整位宽计算得到对应的调整量化参数，以使所述神经网络根据所述调整量化参数进行量化。
在一种可能的实现方式中，所述调整位宽确定模块40，包括：
第一调整位宽确定子模块41，用于当所述量化误差大于第一误差阈值时，增加所述目 标数据对应的数据位宽，得到所述目标数据对应的调整位宽。
在一种可能的实现方式中，所述调整位宽确定模块40，还包括：
第一调整量化误差确定子模块42，用于根据所述调整位宽和所述目标数据计算所述目标数据调整后的量化误差；
第一调整位宽循环确定子模块43，用于根据所述调整后的量化误差和所述第一误差阈值继续增加所述调整位宽，直至根据调整位宽和所述目标数据计算得到的调整后的量化误差小于或等于所述第一误差阈值。
在一种可能的实现方式中，所述调整位宽确定模块40，包括：
第二调整位宽确定子模块44，用于当所述量化误差小于第二误差阈值时，减少所述目标数据对应的数据位宽，所述第二误差阈值小于所述第一误差阈值。
在一种可能的实现方式中，所述调整位宽确定模块40，还包括：
第二调整量化误差确定子模块45，用于根据所述调整位宽和所述目标数据计算所述目标数据调整后的量化误差；
第二调整位宽循环确定子模块46，用于根据所述调整后的量化误差和所述第二误差阈值继续减少所述调整位宽，直至根据调整位宽和所述目标数据计算得到的调整后的量化误差大于或等于所述第二误差阈值。
图2-29示出根据本披露实施例的神经网络量化装置的示意图。如图2-29所示，在一种可能的实现方式中，在所述神经网络运算的微调阶段和/或训练阶段，所述装置还包括：
数据变动幅度确定模块60，用于获取当前迭代以及历史迭代中目标数据的数据变动幅度，所述历史迭代为所述当前迭代之前的迭代；
目标迭代间隔确定模块70，用于根据所述目标数据的数据变动幅度，确定所述目标数据对应的目标迭代间隔，以使所述神经网络根据所述目标迭代间隔更新所述目标数据的量化参数，所述目标迭代间隔包括至少一次迭代，所述目标数据为任意一种待量化数据。
在一种可能的实现方式中，所述装置还包括：
第一目标迭代间隔应用模块80，用于根据所述目标数据在所述当前迭代的数据位宽，确定所述目标数据在所述目标迭代间隔内的迭代对应的数据位宽，以使所述神经网络根据所述目标数据在所述目标迭代间隔内的迭代对应的数据位宽，确定量化参数。
在一种可能的实现方式中，所述装置还包括：
第二目标迭代间隔应用模块90，用于根据所述目标数据在所述当前迭代对应的点位置，确定所述目标数据在所述目标迭代间隔内的迭代对应的点位置。
在一种可能的实现方式中，所述数据变动幅度确定模块60，包括：
滑动平均值计算子模块61，用于根据目标数据在当前迭代的点位置，和根据历史迭代间隔确定的与所述当前迭代对应的历史迭代的点位置，计算目标数据对应各迭代间隔的点位置的滑动平均值；
第一数据变动幅度确定子模块62，用于根据所述目标数据在当前迭代的点位置的第一滑动平均值，以及在上一迭代间隔对应迭代的点位置的第二滑动平均值，得到第一数据变 动幅度；
所述目标迭代间隔确定模块70，包括：
第一目标迭代间隔确定子模块71，用于根据所述第一数据变动幅度，确定所述目标数据对应的目标迭代间隔，以使所述神经网络根据所述目标迭代间隔更新所述目标数据的量化参数。
在一种可能的实现方式中，所述第一数据变动幅度确定子模块62，包括：
第一数据变动幅度确定单元621，用于计算所述第一滑动平均值和所述第二滑动平均值的差值；将所述差值的绝对值确定为第一数据变动幅度。
在一种可能的实现方式中，所述数据变动幅度确定模块60，还包括：
第二数据变动幅度确定子模块63，用于根据在当前迭代所述目标数据和所述目标数据对应的量化数据，得到第二数据变动幅度；
所述目标迭代间隔确定模块70，包括：
第二目标迭代间隔确定子模块72，用于根据所述目标数据的第一数据变动幅度和所述第二数据变动幅度，确定所述目标数据对应的目标迭代间隔，以使所述神经网络根据所述目标迭代间隔更新所述目标数据的量化参数。
在一种可能的实现方式中，所述第二数据变动幅度确定模块63，包括：
第二数据变动幅度确定单元631，用于计算在当前迭代所述目标数据和所述目标数据对应的量化数据之间的误差；将所述误差的平方确定为所述第二数据变动幅度。
在一种可能的实现方式中，所述第二目标迭代间隔确定子模块72，用于根据所述第一数据变动幅度和所述第二数据变动幅度中的最大值，确定所述目标数据对应的目标迭代间隔。
在一种可能的实现方式中，所述数据变动幅度确定模块60，包括：
第三数据变动幅度确定子模块64，用于在当前迭代位于更新周期以外时，获取当前迭代以及历史迭代中目标数据的数据变动幅度，所述更新周期包括至少一个迭代。
图2-30示出根据本披露实施例的神经网络量化装置的示意图。如图2-30所示，在一种可能的实现方式中，所述装置还包括：
周期间隔确定模块100，用于在当前迭代位于预设周期内时，根据当前迭代、在所述预设周期的下一周期中与所述当前迭代对应的迭代以及当前迭代对应的迭代间隔，确定周期间隔；
第一周期间隔应用模块110，用于根据所述目标数据在当前迭代对应的数据位宽，确定在所述周期间隔内的迭代中所述目标数据的数据位宽；或
第二周期间隔应用模块120，用于根据所述目标数据在当前迭代对应的点位置，确定在所述周期间隔内的迭代中所述目标数据的点位置。
在一种可能的实现方式中，所述装置还包括：
量化参数沿用模块130，用于在所述待量化层之后的一层或多层采用所述待量化层的量化参数。
应该理解，上述的装置实施例仅是示意性的，本披露的装置还可通过其它的方式实现。例如，上述实施例中所述单元/模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。例如，多个单元、模块或组件可以结合，或者可以集成到另一个系统，或一些特征可以忽略或不执行。
所述作为分离部件说明的单元或模块可以是物理上分开的，也可以不是物理上分开的。作为单元或模块说明的部件可以是物理单元，也可以不是物理单元，即可以位于一个装置中，或者也可以分布到多个装置上。本披露中实施例的方案可以根据实际的需要选择其中的部分或者全部单元来实现。
另外，若无特别说明，在本披露各个实施例中的各功能单元/模块可以集成在一个单元/模块中，也可以是各个单元/模块单独物理存在，也可以两个或两个以上单元/模块集成在一起。上述集成的单元/模块既可以采用硬件的形式实现，也可以采用软件程序模块的形式实现。
所述集成的单元/模块如果以硬件的形式实现时，该硬件可以是数字电路，模拟电路等等。硬件结构的物理实现包括但不局限于晶体管，忆阻器等等。若无特别说明，所述人工智能处理器可以是任何适当的硬件处理器，比如CPU、GPU、FPGA、DSP和ASIC等等。若无特别说明，所述存储单元可以是任何适当的磁存储介质或者磁光存储介质，比如，阻变式存储器RRAM(Resistive Random Access Memory)、动态随机存取存储器DRAM(Dynamic Random Access Memory)、静态随机存取存储器SRAM(Static Random-Access Memory)、增强动态随机存取存储器EDRAM(Enhanced Dynamic Random Access Memory)、高带宽内存HBM(High-Bandwidth Memory)、混合存储立方HMC(Hybrid Memory Cube)等等。
所述集成的单元/模块如果以软件程序模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储器中。基于这样的理解，本披露的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本披露各个实施例所述方法的全部或部分步骤。而前述的存储器包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
在一种可能的实现方式中，本披露还公开了一种人工智能芯片，其包括了上述数据同步装置。
在一种可能的实现方式中，本披露还公开了一种板卡，其包括存储器件、接口装置和控制器件以及上述人工智能芯片；其中，所述人工智能芯片与所述存储器件、所述控制器件以及所述接口装置分别连接；所述存储器件，用于存储数据；所述接口装置，用于实现所述人工智能芯片与外部设备之间的数据传输；所述控制器件，用于对所述人工智能芯片的状态进行监控。
图2-31示出根据本披露实施例的板卡的结构框图，参阅图2-31，上述板卡除了包括上述芯片389以外，还可以包括其他的配套部件，该配套部件包括但不限于：存储器件390、接口装置391和控制器件392；
所述存储器件390与所述人工智能芯片通过总线连接，用于存储数据。所述存储器件可以包括多组存储单元393。每一组所述存储单元与所述人工智能芯片通过总线连接。可以理解，每一组所述存储单元可以是DDR SDRAM(英文：Double Data Rate SDRAM，双倍速率同步动态随机存储器)。
DDR不需要提高时钟频率就能加倍提高SDRAM的速度。DDR允许在时钟脉冲的上升沿和下降沿读出数据。DDR的速度是标准SDRAM的两倍。在一个实施例中，所述存储装置可以包括4组所述存储单元。每一组所述存储单元可以包括多个DDR4颗粒(芯片)。在一个实施例中，所述人工智能芯片内部可以包括4个72位DDR4控制器，上述72位DDR4控制器中64bit用于传输数据，8bit用于ECC校验。可以理解，当每一组所述存储单元中采用DDR4-3200颗粒时，数据传输的理论带宽可达到25600MB/s。
在一个实施例中，每一组所述存储单元包括多个并联设置的双倍速率同步动态随机存储器。DDR在一个时钟周期内可以传输两次数据。在所述芯片中设置控制DDR的控制器，用于对每个所述存储单元的数据传输与数据存储的控制。
所述接口装置与所述人工智能芯片电连接。所述接口装置用于实现所述人工智能芯片与外部设备(例如服务器或计算机)之间的数据传输。例如在一个实施例中，所述接口装置可以为标准PCIE接口。比如，待处理的数据由服务器通过标准PCIE接口传递至所述芯片，实现数据转移。优选的，当采用PCIE 3.0 X 16接口传输时，理论带宽可达到16000MB/s。在另一个实施例中，所述接口装置还可以是其他的接口，本披露并不限制上述其他的接口的具体表现形式，所述接口单元能够实现转接功能即可。另外，所述人工智能芯片的计算结果仍由所述接口装置传送回外部设备(例如服务器)。
所述控制器件与所述人工智能芯片电连接。所述控制器件用于对所述人工智能芯片的状态进行监控。具体的，所述人工智能芯片与所述控制器件可以通过SPI接口电连接。所述控制器件可以包括单片机(Micro Controller Unit，MCU)。如所述人工智能芯片可以包括多个处理芯片、多个处理核或多个处理电路，可以带动多个负载。因此，所述人工智能芯片可以处于多负载和轻负载等不同的工作状态。通过所述控制装置可以实现对所述人工智能芯片中多个处理芯片、多个处理和或多个处理电路的工作状态的调控。
在一种可能的实现方式中，公开了一种电子设备，其包括了上述人工智能芯片。电子设备包括数据处理装置、机器人、电脑、打印机、扫描仪、平板电脑、智能终端、手机、行车记录仪、导航仪、传感器、摄像头、服务器、云端服务器、相机、摄像机、投影仪、手表、耳机、移动存储、可穿戴设备、交通工具、家用电器、和/或医疗设备。
所述交通工具包括飞机、轮船和/或车辆；所述家用电器包括电视、空调、微波炉、冰箱、电饭煲、加湿器、洗衣机、电灯、燃气灶、油烟机；所述医疗设备包括核磁共振仪、B超仪和/或心电图仪。
依据以下条款可更好地理解前述内容：
B1、一种神经网络量化方法，对于所述神经网络中的任意一层待量化层，所述方法包括：
确定与所述待量化层中每种待量化数据对应的量化参数，所述待量化数据包括神经元、权值、偏置、梯度中的至少一种；
将待量化数据根据对应的量化参数进行量化，得到量化数据，以使所述神经网络根据所述量化数据执行运算。
B2、根据条款B1所述的方法，所述量化参数包括点位置、缩放系数和偏移量中的至少一种，其中，
所述点位置为量化后小数点的位置，
所述缩放系数为量化后数据的最大值与待量化数据的最大绝对值之间的比值，
所述偏移量为待量化数据的中间值。
B3、根据条款B1或B2所述的方法，所述确定与所述待量化层中每种待量化数据对应的量化参数，包括：
通过查找待量化数据与量化参数对应关系，确定与所述待量化层中每种待量化数据对应的量化参数。
B4、根据条款B1或B2所述的方法，所述确定与所述待量化层中每种待量化数据对应的量化参数，包括：
根据每种待量化数据和对应的数据位宽计算得到对应的量化参数。
B5、根据条款B4所述的方法，所述根据每种待量化数据和对应的数据位宽计算得到对应的量化参数，包括：
当所述量化参数不包括偏移量时，根据目标数据中的绝对值最大值和所述目标数据对应的数据位宽，得到所述目标数据的点位置，所述目标数据为任意一种待量化数据。
B6、根据条款B4所述的方法，所述根据每种待量化数据和对应的数据位宽计算得到对应的量化参数，包括：
当所述量化参数不包括偏移量时，根据目标数据和所述目标数据对应的数据位宽得到所述目标数据量化后数据的最大值，所述目标数据为任意一种待量化数据；
根据目标数据中的绝对值最大值和所述目标数据量化后数据的最大值，得到所述目标数据的缩放系数。
B7、根据条款B4所述的方法，所述根据每种待量化数据和对应的数据位宽计算得到对应的量化参数，包括：
当所述量化参数包括偏移量时，根据所述目标数据中的最大值、所述目标数据中的最小值和所述目标数据对应的数据位宽，得到所述目标数据的点位置，所述目标数据为任意一种待量化数据。
B8、根据条款B4所述的方法，所述根据每种待量化数据和对应的数据位宽计算得到对应的量化参数，包括：
当所述量化参数包括偏移量时，根据目标数据和所述目标数据对应的数据位宽得到所述目标数据量化后数据的最大值，所述目标数据为任意一种待量化数据；
根据所述目标数据中的最大值、所述目标数据中的最小值和所述目标数据量化后数据的最大值，得到所述目标数据的缩放系数。
B9、根据条款B4所述的方法，所述根据每种待量化数据和对应的数据位宽计算得到对应的量化参数，包括：
根据目标数据中的最大值和最小值，得到所述目标数据的偏移量，所述目标数据为任意一种待量化数据。
B10、根据条款B1至B9中任一项所述的方法，所述方法还包括：
根据目标数据和所述目标数据对应的量化数据，确定所述目标数据的量化误差，所述目标数据为任意一种待量化数据；
根据所述量化误差和误差阈值，调整所述目标数据对应的数据位宽，得到所述目标数据对应的调整位宽；
将所述目标数据对应的数据位宽更新为所述调整位宽，根据所述目标数据和所述调整位宽计算得到对应的调整量化参数，以使所述神经网络根据所述调整量化参数进行量化。
B11、根据条款B10所述的方法，所述根据所述量化误差和误差阈值，调整所述目标数据对应的数据位宽，得到所述目标数据对应的调整位宽，包括：
当所述量化误差大于第一误差阈值时，增加所述目标数据对应的数据位宽，得到所述目标数据对应的调整位宽。
B12、根据条款B11所述的方法，所述方法还包括：
根据所述调整位宽和所述目标数据计算所述目标数据调整后的量化误差；
根据所述调整后的量化误差和所述第一误差阈值继续增加所述调整位宽，直至根据调整位宽和所述目标数据计算得到的调整后的量化误差小于或等于所述第一误差阈值。
B13、根据条款B10或B11所述的方法，所述根据所述量化误差和误差阈值，调整所述目标数据对应的数据位宽，包括：
当所述量化误差小于第二误差阈值时，减少所述目标数据对应的数据位宽，所述第二误差阈值小于所述第一误差阈值。
B14、根据条款B13所述的方法，所述方法还包括：
根据所述调整位宽和所述目标数据计算所述目标数据调整后的量化误差；
根据所述调整后的量化误差和所述第二误差阈值继续减少所述调整位宽，直至根据调整位宽和所述目标数据计算得到的调整后的量化误差大于或等于所述第二误差阈值。
B15、根据条款B1至B14中任一项所述的方法，在所述神经网络运算的微调阶段和/或训练阶段，所述方法还包括：
获取当前迭代以及历史迭代中目标数据的数据变动幅度，所述历史迭代为所述当前迭代之前的迭代；
根据所述目标数据的数据变动幅度，确定所述目标数据对应的目标迭代间隔，以使所 述神经网络根据所述目标迭代间隔更新所述目标数据的量化参数，所述目标迭代间隔包括至少一次迭代，所述目标数据为任意一种待量化数据。
B16、根据条款B15所述的方法，所述方法还包括：
根据所述目标数据在所述当前迭代的数据位宽，确定所述目标数据在所述目标迭代间隔内的迭代对应的数据位宽，以使所述神经网络根据所述目标数据在所述目标迭代间隔内的迭代对应的数据位宽，确定量化参数。
B17、根据条款B15所述的方法，所述方法还包括：
根据所述目标数据在所述当前迭代对应的点位置，确定所述目标数据在所述目标迭代间隔内的迭代对应的点位置。
B18、根据条款B15所述的方法，所述获取当前迭代以及历史迭代中目标数据的数据变动幅度，包括：
根据目标数据在当前迭代的点位置，和根据历史迭代间隔确定的与所述当前迭代对应的历史迭代的点位置，计算目标数据对应各迭代间隔的点位置的滑动平均值；
根据所述目标数据在当前迭代的点位置的第一滑动平均值，以及在上一迭代间隔对应迭代的点位置的第二滑动平均值，得到第一数据变动幅度；
所述根据所述目标数据的数据变动幅度，确定所述目标数据对应的目标迭代间隔，以使所述神经网络根据所述目标迭代间隔更新所述目标数据的量化参数，包括：
根据所述第一数据变动幅度，确定所述目标数据对应的目标迭代间隔，以使所述神经网络根据所述目标迭代间隔更新所述目标数据的量化参数。
B19、根据条款B18所述的方法，所述根据所述目标数据在当前迭代的点位置的第一滑动平均值，以及在上一迭代间隔对应迭代的点位置的第二滑动平均值，得到第一数据变动幅度，包括：
计算所述第一滑动平均值和所述第二滑动平均值的差值；
将所述差值的绝对值确定为第一数据变动幅度。
B20、根据条款B18所述的方法，所述方法还包括：
根据在当前迭代所述目标数据和所述目标数据对应的量化数据，得到第二数据变动幅度；
所述根据所述目标数据的数据变动幅度，确定所述目标数据对应的目标迭代间隔，以使所述神经网络根据所述目标迭代间隔更新所述目标数据的量化参数，包括：
根据所述目标数据的第一数据变动幅度和所述第二数据变动幅度，确定所述目标数据对应的目标迭代间隔，以使所述神经网络根据所述目标迭代间隔更新所述目标数据的量化参数。
B21、根据条款B20述的方法，所述根据在当前迭代所述目标数据和所述目标数据对应的量化数据，得到第二数据变动幅度，包括：
计算在当前迭代所述目标数据和所述目标数据对应的量化数据之间的误差；
将所述误差的平方确定为所述第二数据变动幅度。
B22、根据条款B20所述的方法，所述根据所述目标数据的第一数据变动幅度和所述第二数据变动幅度，确定所述目标数据对应的目标迭代间隔，包括：
根据所述第一数据变动幅度和所述第二数据变动幅度中的最大值，确定所述目标数据对应的目标迭代间隔。
B23、根据条款B15至B22中任一项所述的方法，所述获取当前迭代以及历史迭代中目标数据的数据变动幅度，包括：
在当前迭代位于更新周期以外时，获取当前迭代以及历史迭代中目标数据的数据变动幅度，所述更新周期包括至少一个迭代。
B24、根据条款B15至B23中任一项所述的方法，所述方法还包括：
在当前迭代位于预设周期内时，根据当前迭代、在所述预设周期的下一周期中与所述当前迭代对应的迭代以及当前迭代对应的迭代间隔，确定周期间隔；
根据所述目标数据在当前迭代对应的数据位宽，确定在所述周期间隔内的迭代中所述目标数据的数据位宽；或
根据所述目标数据在当前迭代对应的点位置，确定在所述周期间隔内的迭代中所述目标数据的点位置。
B25、根据条款B1至B24中任一项所述的方法，所述方法还包括：
在所述待量化层之后的一层或多层采用所述待量化层的量化参数。
B26、一种神经网络量化装置，所述装置用于量化所述神经网络中的任意一层待量化层，所述装置包括：
量化参数确定模块，用于确定与所述待量化层中每种待量化数据对应的量化参数，所述待量化数据包括神经元、权值、偏置、梯度中的至少一种；
量化模块，用于将待量化数据根据对应的量化参数进行量化，得到量化数据，以使所述神经网络根据所述量化数据执行运算。
B27、根据条款B26所述的装置，所述量化参数包括点位置、缩放系数和偏移量中的至少一种，其中，
所述点位置为量化后小数点的位置，
所述缩放系数为量化后数据的最大值与待量化数据的最大绝对值之间的比值，
所述偏移量为待量化数据的中间值。
B28、根据条款B25或B27所述的装置，所述量化参数确定模块，包括：
第一量化参数确定子模块，用于通过查找待量化数据与量化参数对应关系，确定与所述待量化层中每种待量化数据对应的量化参数。
B29、根据条款B26或B27所述的装置，所述量化参数确定模块，包括：
第二量化参数确定子模块，用于根据每种待量化数据和对应的数据位宽计算得到对应的量化参数。
B30、根据条款B29所述的装置，所述第二量化参数确定子模块，包括：
第一点位置计算单元，用于当所述量化参数不包括偏移量时，根据目标数据中的绝对 值最大值和所述目标数据对应的数据位宽，得到所述目标数据的点位置，所述目标数据为任意一种待量化数据。
B31、根据条款B29所述的装置，所述第二量化参数确定子模块，包括：
第一缩放系数计算单元，用于当所述量化参数不包括偏移量时，根据目标数据和所述目标数据对应的数据位宽得到所述目标数据量化后数据的最大值，所述目标数据为任意一种待量化数据；根据目标数据中的绝对值最大值和所述目标数据量化后数据的最大值，得到所述目标数据的缩放系数。
B32、根据条款B29所述的装置，所述第二量化参数确定子模块，包括：
第二点位置计算单元，用于当所述量化参数包括偏移量时，根据所述目标数据中的最大值、所述目标数据中的最小值和所述目标数据对应的数据位宽，得到所述目标数据的点位置，所述目标数据为任意一种待量化数据。
B33、根据条款B29所述的装置，所述第二量化参数确定子模块，包括：
第二缩放系数计算单元，用于当所述量化参数包括偏移量时，根据目标数据和所述目标数据对应的数据位宽得到所述目标数据量化后数据的最大值，所述目标数据为任意一种待量化数据；根据所述目标数据中的最大值、所述目标数据中的最小值和所述目标数据量化后数据的最大值，得到所述目标数据的缩放系数。
B34、根据条款B29所述的装置，所述第二量化参数确定子模块，包括：
偏移量计算单元，用于根据目标数据中的最大值和最小值，得到所述目标数据的偏移量，所述目标数据为任意一种待量化数据。
B35、根据条款B26至B34中任一项所述的装置，所述装置还包括：
量化误差确定模块，用于根据目标数据和所述目标数据对应的量化数据，确定所述目标数据的量化误差，所述目标数据为任意一种待量化数据；
调整位宽确定模块，用于根据所述量化误差和误差阈值，调整所述目标数据对应的数据位宽，得到所述目标数据对应的调整位宽；
调整量化参数确定模块，用于将所述目标数据对应的数据位宽更新为所述调整位宽，根据所述目标数据和所述调整位宽计算得到对应的调整量化参数，以使所述神经网络根据所述调整量化参数进行量化。
B36、根据条款B35所述的装置，所述调整位宽确定模块，包括：
第一调整位宽确定子模块，用于当所述量化误差大于第一误差阈值时，增加所述目标数据对应的数据位宽，得到所述目标数据对应的调整位宽。
B37、根据条款B36所述的装置，所述调整位宽确定模块，还包括：
第一调整量化误差确定子模块，用于根据所述调整位宽和所述目标数据计算所述目标数据调整后的量化误差；
第一调整位宽循环确定子模块，用于根据所述调整后的量化误差和所述第一误差阈值继续增加所述调整位宽，直至根据调整位宽和所述目标数据计算得到的调整后的量化误差小于或等于所述第一误差阈值。
B38、根据条款B35或B36所述的装置，所述调整位宽确定模块，包括：
第二调整位宽确定子模块，用于当所述量化误差小于第二误差阈值时，减少所述目标数据对应的数据位宽，所述第二误差阈值小于所述第一误差阈值。
B39、根据条款B38所述的装置，所述调整位宽确定模块，还包括：
第二调整量化误差确定子模块，用于根据所述调整位宽和所述目标数据计算所述目标数据调整后的量化误差；
第二调整位宽循环确定子模块，用于根据所述调整后的量化误差和所述第二误差阈值继续减少所述调整位宽，直至根据调整位宽和所述目标数据计算得到的调整后的量化误差大于或等于所述第二误差阈值。
B40、根据条款B26至B39中任一项所述的装置，在所述神经网络运算的微调阶段和/或训练阶段，所述装置还包括：
数据变动幅度确定模块，用于获取当前迭代以及历史迭代中目标数据的数据变动幅度，所述历史迭代为所述当前迭代之前的迭代；
目标迭代间隔确定模块，用于根据所述目标数据的数据变动幅度，确定所述目标数据对应的目标迭代间隔，以使所述神经网络根据所述目标迭代间隔更新所述目标数据的量化参数，所述目标迭代间隔包括至少一次迭代，所述目标数据为任意一种待量化数据。
B41、根据条款B40所述的装置，所述装置还包括：
第一目标迭代间隔应用模块，用于根据所述目标数据在所述当前迭代的数据位宽，确定所述目标数据在所述目标迭代间隔内的迭代对应的数据位宽，以使所述神经网络根据所述目标数据在所述目标迭代间隔内的迭代对应的数据位宽，确定量化参数。
B42、根据条款B40所述的装置，所述装置还包括：
第二目标迭代间隔应用模块，用于根据所述目标数据在所述当前迭代对应的点位置，确定所述目标数据在所述目标迭代间隔内的迭代对应的点位置。
B43、根据条款B40所述的装置，所述数据变动幅度确定模块，包括：
滑动平均值计算子模块，用于根据目标数据在当前迭代的点位置，和根据历史迭代间隔确定的与所述当前迭代对应的历史迭代的点位置，计算目标数据对应各迭代间隔的点位置的滑动平均值；
第一数据变动幅度确定子模块，用于根据所述目标数据在当前迭代的点位置的第一滑动平均值，以及在上一迭代间隔对应迭代的点位置的第二滑动平均值，得到第一数据变动幅度；
所述目标迭代间隔确定模块，包括：
第一目标迭代间隔确定子模块，用于根据所述第一数据变动幅度，确定所述目标数据对应的目标迭代间隔，以使所述神经网络根据所述目标迭代间隔更新所述目标数据的量化参数。
B44、根据条款B43所述的装置，所述第一数据变动幅度确定子模块，包括：
第一数据变动幅度确定单元，用于计算所述第一滑动平均值和所述第二滑动平均值的 差值；将所述差值的绝对值确定为第一数据变动幅度。
B45、根据条款B43所述的装置，所述数据变动幅度确定模块，包括：
第二数据变动幅度确定子模块，用于根据在当前迭代所述目标数据和所述目标数据对应的量化数据，得到第二数据变动幅度；
所述目标迭代间隔确定模块，包括：
第二目标迭代间隔确定子模块，用于根据所述目标数据的第一数据变动幅度和所述第二数据变动幅度，确定所述目标数据对应的目标迭代间隔，以使所述神经网络根据所述目标迭代间隔更新所述目标数据的量化参数。
B46、根据条款B45述的装置，所述第二数据变动幅度确定子模块，包括：
第二数据变动幅度确定单元，用于计算在当前迭代所述目标数据和所述目标数据对应的量化数据之间的误差；将所述误差的平方确定为所述第二数据变动幅度。
B47、根据条款B45所述的装置，所述第二目标迭代间隔确定子模块，用于根据所述第一数据变动幅度和所述第二数据变动幅度中的最大值，确定所述目标数据对应的目标迭代间隔。
B48、根据条款B40至B47中任一项所述的装置，所述数据变动幅度确定模块，包括：
第三数据变动幅度确定子模块，用于在当前迭代位于更新周期以外时，获取当前迭代以及历史迭代中目标数据的数据变动幅度，所述更新周期包括至少一个迭代。
B49、根据条款B40至B48中任一项所述的装置，所述装置还包括：
周期间隔确定模块，用于在当前迭代位于预设周期内时，根据当前迭代、在所述预设周期的下一周期中与所述当前迭代对应的迭代以及当前迭代对应的迭代间隔，确定周期间隔；
第一周期间隔应用模块，用于根据所述目标数据在当前迭代对应的数据位宽，确定在所述周期间隔内的迭代中所述目标数据的数据位宽；或
第二周期间隔应用模块，用于根据所述目标数据在当前迭代对应的点位置，确定在所述周期间隔内的迭代中所述目标数据的点位置。
B50、根据条款B26至B49中任一项所述的装置，所述装置还包括：
量化参数沿用模块，用于在所述待量化层之后的一层或多层采用所述待量化层的量化参数。
B51、一种人工智能芯片，所述芯片包括如条款B26-B50中任意一项所述的神经网络量化装置。
B52、一种电子设备，所述电子设备包括如条款B51所述的人工智能芯片。
B53、一种板卡，所述板卡包括：存储器件、接口装置和控制器件以及如条款B51所述的人工智能芯片；
其中，所述人工智能芯片与所述存储器件、所述控制器件以及所述接口装置分别连接；
所述存储器件，用于存储数据；
所述接口装置，用于实现所述人工智能芯片与外部设备之间的数据传输；
所述控制器件，用于对所述人工智能芯片的状态进行监控。
B54、根据权利要求B53所述的板卡，所述存储器件包括：多组存储单元，每一组所述存储单元与所述人工智能芯片通过总线连接，所述存储单元为：DDR SDRAM；
所述芯片包括：DDR控制器，用于对每个所述存储单元的数据传输与数据存储的控制；
所述接口装置为：标准PCIE接口。
以上已经描述了本披露的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。
上文描述了为解决神经网络量化的问题而提出的方案(201910505239.7)。
为了解决量化参数调整的问题，我们提出了如下的方案(201910528537.8)。具体地，提出了量化参数调整方法、装置及相关产品。
本披露涉及计算机技术领域，尤其涉及一种神经网络的量化参数调整方法、装置及相关产品。
随着人工智能技术的不断发展，其应用领域越来越广泛，在图像识别、语音识别、自然语言处理等领域中都得到了良好的应用。然而，随着人工智能算法的复杂度提高，待处理数据的数据量和数据维度都在不断增大，不断增大的数据量等对运算装置的数据处理效率、存储装置的存储容量及访存效率等提出了较大的挑战。
为解决上述技术问题，传统技术采用固定位宽对神经网络的运算数据进行量化，即将浮点型的运算数据转换为定点型的运算数据，以实现神经网络的运算数据的压缩。但神经网络的不同运算数据之间可能存在较大的差异，传统量化方法针对整个神经网络采用相同量化参数(如点位置)进行量化，往往会导致精度较低，影响数据运算结果。
有鉴于此，本披露提出了一种神经网络的量化参数调整方法、装置及相关产品，能够提高神经网络的量化精度，保证运算结果的正确性和可靠性。
本披露提供了一种神经网络的量化参数调整方法，所述方法包括：
获取待量化数据的数据变动幅度；
根据所述待量化数据的数据变动幅度，确定目标迭代间隔，以根据所述目标迭代间隔调整所述神经网络运算中的量化参数，其中，所述目标迭代间隔包括至少一次迭代，所述神经网络的量化参数用于实现对所述神经网络运算中待量化数据的量化操作。
本披露还提供了一种神经网络的量化参数调整装置，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时，实现上述任一项所述的方法的步骤。具体地，处理器执行上述计算机程序时，实现如下操作：
获取待量化数据的数据变动幅度；
根据所述待量化数据的数据变动幅度，确定目标迭代间隔，以根据所述目标迭代间隔调整所述神经网络运算中的量化参数，其中，所述目标迭代间隔包括至少一次迭代，所述神经网络的量化参数用于实现对所述神经网络运算中待量化数据的量化操作。
本披露还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，所述计算机程序被执行时，实现上述任一项所述的方法的步骤。具体地，上述计算机程序被执行时，实现如下操作：
获取待量化数据的数据变动幅度；
根据所述待量化数据的数据变动幅度，确定目标迭代间隔，以根据所述目标迭代间隔调整所述神经网络运算中的量化参数，其中，所述目标迭代间隔包括至少一次迭代，所述神经网络的量化参数用于实现对所述神经网络运算中待量化数据的量化操作。
本披露还提供了一种神经网络的量化参数调整装置，所述装置包括：
获取模块，用于获取待量化数据的数据变动幅度；
迭代间隔确定模块，用于根据所述待量化数据的数据变动幅度，确定目标迭代间隔，以根据所述目标迭代间隔调整所述神经网络运算中的量化参数，其中，所述目标迭代间隔包括至少一次迭代，所述神经网络的量化参数用于实现对所述神经网络运算中待量化数据的量化操作。
本披露的神经网络的量化参数调整方法、装置及相关产品，通过获取待量化数据的数据变动幅度，并根据该待量化数据的数据变动幅度确定出目标迭代间隔，从而可以根据该目标迭代间隔调整神经网络的量化参数，这样可以根据确定待量化数据的数据分布特性确定神经网络在不同运算阶段的量化参数。相较于现有技术中，针对同一神经网络的各种运算数据均采用相同的量化参数的方式，本披露的方法及装置能够提高神经网络量化过程中的精度，进而保证运算结果的准确性和可靠性。进一步地，通过确定目标迭代间隔还可以提高量化效率。
本披露所涉及的附图包含在说明书中并且构成说明书的一部分的附图与说明书一起示出了本披露的示例性实施例、特征和方面，并且用于解释本披露的原理。
图3-1示出本披露一实施例的量化参数调整方法的应用环境示意图；
图3-2示出本披露一实施例的待量化数据和量化数据的对应关系示意图；
图3-3示出本披露一实施例的待量化数据的转换示意图；
图3-4示出本披露一实施例的量化参数调整方法的流程图；
图3-5示出本披露一实施例的待量化数据在运算过程中的变动趋势图；
图3-6示出本披露一实施例的参数调整方法中目标迭代间隔的确定方法的流程图；
图3-7示出本披露一实施例中点位置的变动幅度的确定方法的流程图；
图3-8示出本披露一实施例中第二均值的确定方法的流程图；
图3-9示出本披露一实施例中数据位宽调整方法的流程图；
图3-10示出本披露另一实施例中数据位宽调整方法的流程图；
图3-11示出本披露又一实施例中数据位宽调整方法的流程图；
图3-12示出本披露再一实施例中数据位宽调整方法的流程图；
图3-13示出本披露另一实施例中第二均值的确定方法的流程图；
图3-14示出本披露另一实施例的量化参数调整方法的流程图；
图3-15示出本披露一实施例的量化参数调整方法中调整量化参数的流程图；
图3-16示出本披露另一实施例的参数调整方法中目标迭代间隔的确定方法的流程图；
图3-17示出本披露又一实施例的参数调整方法中目标迭代间隔的确定方法的流程图；
图3-18示出本披露又一实施例的量化参数调整方法的流程图；
图3-19示出本披露再一实施例的量化参数调整方法的流程图；
图3-20示出本披露一实施例的量化参数调整装置的结构框图；
图3-21示出本披露一实施例的量化参数调整装置的结构框图；
图3-22示出本披露一实施例的量化参数调整装置的结构框图；
图3-23示出本披露一实施例的量化参数调整装置的结构框图；
图3-24示出本披露一实施例的量化参数调整装置的结构框图；
图3-25示出根据本披露实施例的板卡的结构框图。
为了解决量化参数调整的问题，我们提出了如下的方案(201910528537.8)。下面将结合本披露实施例中的附图，对本披露实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本披露一部分实施例，而不是全部的实施例。基于本披露中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本披露保护的范围。
应当理解，本披露的权利要求、说明书及附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。本披露的说明书和权利要求书中使用的术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在此本披露说明书中所使用的术语仅仅是出于描述特定实施例的目的，而并不意在限定本披露。如在本披露说明书和权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。还应当进一步理解，在本披露说明书和权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
随着人工智能算法的复杂度提高，待处理数据的数据量和数据维度也在不断增大，而传统的神经网络算法通常采用浮点数据格式来执行神经网络运算，这就使得不断增大的数据量等对运算装置的数据处理效率、存储装置的存储容量及访存效率等提出了较大的挑战。为解决上述问题，可以对神经网络运算过程涉及的运算数据进行量化，即将浮点表示的运算数据转化为定点表示的运算数据，从而减小存储装置的存储容量及访存效率，并提高运算装置的运算效率。但传统的量化方法是在神经网络的整个训练过程中均采用相同的数据位宽和量化参数(如小数点的位置)对神经网络的不同运算数据进行量化，由于不同的运算数据之间具有差异性，或者，训练过程中不同阶段的运算数据具有差异性，使得采用上 述量化方法进行量化时，往往会导致精度不够，从而会影响运算结果。
基于此，本披露提供了一种神经网络的量化参数调整方法，该方法可以应用于包含存储器110和处理器120的量化参数调整装置中。图3-1为该量化参数调整装置100的结构框图，其中，该量化参数调整装置100的处理器120可以是通用处理器，该量化参数调整装置100的处理器120也可以是人工智能处理器，该量化参数调整装置100的处理器还可以包含通用处理器和人工智能处理器，此处不做具体限定。该存储器110可以用于存储神经网络运算过程中的运算数据，该运算数据可以是神经元数据、权值数据或梯度数据中的一种或多种。该存储器110还可以用于存储计算机程序，该计算机程序被上述的处理器120执行时，能够实现本披露实施例中的量化参数调整方法。该方法能够应用于神经网络的训练或微调过程中，并根据神经网络的训练或微调过程的不同阶段的运算数据的分布特性，动态地调整运算数据的量化参数，从而提高神经网络的量化过程的精度，进而保证运算结果的准确性和可靠性。
若无特别说明，所述人工智能处理器可以是任何适当的硬件处理器，比如CPU、GPU、FPGA、DSP和ASIC等等。若无特别说明，所述存储器可以是任何适当的磁存储介质或者磁光存储介质，比如，阻变式存储器RRAM(Resistive Random Access Memory)、动态随机存取存储器DRAM(Dynamic Random Access Memory)、静态随机存取存储器SRAM(Static Random-Access Memory)、增强动态随机存取存储器EDRAM(Enhanced Dynamic Random Access Memory)、高带宽内存HBM(High-Bandwidth Memory)或混合存储立方HMC(Hybrid Memory Cube)等等。
为更好地理解本披露的内容，以下首先介绍本披露实施例中量化过程及量化过程涉及到的量化参数。
本披露实施例中，量化是指将第一数据格式的运算数据转化为第二数据格式的运算数据。其中，该第一数据格式的运算数据可以是浮点表示的运算数据，该第二数据格式的运算数据可以是定点表示的运算数据。由于浮点表示的运算数据通常会占用较大的存储空间，因此通过将浮点表示的运算数据转换为定点表示的运算数据，可以节约存储空间，并提高运算数据的访存效率及运算效率等。
可选地，量化过程中的量化参数可以包括点位置和/或缩放系数，其中，点位置是指量化后的运算数据中小数点的位置。缩放系数是指量化数据的最大值与待量化数据的最大绝对值之间的比值。进一步地，量化参数还可以包括偏移量，偏移量是针对非对称的待量化数据而言，是指该待量化数据中多个元素的中间值，具体地，偏移量可以是待量化数据中多个元素的中点值。当该待量化数据为对称的待量化数据时，量化参数可以不包含偏移量，此时可以根据该待量化数据确定点位置和/或缩放系数等量化参数。
如图3-2所示，待量化数据为相对于原点对称的数据，假设Z 1为待量化数据中元素的绝对值的最大值，待量化数据对应的数据位宽为n，A为用数据位宽n对待量化数据进行量化后的量化数据可以表示的最大值，A为2 s(2 n-1-1)，A需要包含Z 1，且Z 1要大于
Figure PCTCN2019106801-appb-000127
因此有公式(1)的约束：
2 s(2 n-1-1)≥Z 1>2 s-1(2 n-1-1)    公式(1)
处理器可以根据待量化数据中的绝对值最大值Z1和数据位宽n，计算得到点位置s。例如，可以利用如下公式(2)计算得到待量化数据对应的点位置s：
Figure PCTCN2019106801-appb-000128
其中，ceil为向上取整，Z 1为待量化数据中的绝对值最大值，s为点位置，n为数据位宽。
此时，当采用点位置s对待量化数据进行量化时，浮点表示的待量化数据F x可以表示为：F x≈I x×2 s，其中，I x是指量化后的n位二进制表示值，s表示点位置。其中，该待量化数据对应的量化数据为：
Figure PCTCN2019106801-appb-000129
其中，s为点位置，I x为量化数据，F x为待量化数据，round为进行四舍五入的取整运算。可以理解的是，也可以采用其他的取整运算方法，例如采用向上取整、向下取整、向零取整等取整运算，替换公式(3)中的四舍五入的取整运算。可以理解的是，在数据位宽一定的情况下，根据点位置量化得到的量化数据中，小数点后的位数越多，量化数据的量化精度越大。
进一步地，该待量化数据对应的中间表示数据F x1可以是：
Figure PCTCN2019106801-appb-000130
其中，s为根据上述公式(2)确定的点位置，F x为待量化数据，round为进行四舍五入的取整运算。F x1可以是对上述的量化数据I x进行反量化获得的数据，该中间表示数据F x1的数据表示格式与上述的待量化数据F x的数据表示格式一致，该中间表示数据F x1可以用于计算量化误差，详见下文。其中，反量化是指量化的逆过程。
可选地，缩放系数可以包括第一缩放系数，该第一缩放系数可以按照如下方式进行计算：
Figure PCTCN2019106801-appb-000131
其中，Z1为待量化数据中的绝对值最大值，A为用数据位宽n对待量化数据进行量化后数据的量化数据可以表示的最大值，A为2 s(2 n-1-1)。
此时，处理器可以采用点位置和第一缩放系数结合的方式对待量化数据F x进行量化，获得量化数据：
Figure PCTCN2019106801-appb-000132
其中，s为根据上述公式(2)确定的点位置，f 1为第一缩放系数，I x为量化数据，F x为待量化数据，round为进行四舍五入的取整运算。可以理解的是，也可以采用其他的取整运算方法，例如采用向上取整、向下取整、向零取整等取整运算，替换公式(6)中的四舍五入的取整运算。
进一步地，该待量化数据对应的中间表示数据F x1可以是：
Figure PCTCN2019106801-appb-000133
其中，s为根据上述公式(2)确定的点位置，f 1为缩放系数，F x为待量化数据，round为进行四舍五入的取整运算。F x1可以是对上述的量化数据I x进行反量化获得的数据，该中间表示数据F x1的数据表示格式与上述的待量化数据F x的数据表示格式一致，该中间表示数据F x1可以用于计算量化误差，详见下文。其中，反量化是指量化的逆过程。
可选地，该缩放系数还可以包括第二缩放系数，该第二缩放系数可以按照如下方式进行计算：
Figure PCTCN2019106801-appb-000134
处理器可以单独使用第二缩放系数对待量化数据F x进行量化，获得量化数据：
Figure PCTCN2019106801-appb-000135
其中，f 2为第二缩放系数，I x为量化数据，F x为待量化数据，round为进行四舍五入的取整运算。可以理解的是，也可以采用其他的取整运算方法，例如采用向上取整、向下取整、向零取整等取整运算，替换公式(9)中的四舍五入的取整运算。可以理解的是，在数据位宽一定的情况下，采用不同的缩放系数，可以调整量化后数据的数值范围。
进一步地，该待量化数据对应的中间表示数据F x1可以是：
Figure PCTCN2019106801-appb-000136
其中，f 2为第二缩放系数，F x为待量化数据，round为进行四舍五入的取整运算。F x1可以是对上述的量化数据I x进行反量化获得的数据，该中间表示数据F x1的数据表示格式与上述的待量化数据F x的数据表示格式一致，该中间表示数据F x1可以用于计算量化误差，详见下文。其中，反量化是指量化的逆过程。
进一步地，上述第二缩放系数可以是根据点位置和第一缩放系数f 1确定。即第二缩放系数可以按照如下公式进行计算：
f 2＝2 s×f 1       公式(11)
其中，s为根据上述公式(2)确定的点位置，f 1是按照上述公式(5)计算获得的第一缩放系数。
可选地，本披露实施例的量化方法不仅能够实现对称数据的量化，还可以实现对非对称数据的量化。此时，处理器可以将非对称的数据转化为对称数据，以避免数据的“溢出”。具体地，量化参数还可以包括偏移量，该偏移量可以是待量化数据的中点值，该偏移量可以用于表示待量化数据的中点值相对于原点的偏移量。如图3-3所示，处理器可以对待量化数据的数据分布进行统计，获得待量化数据中所有元素中的最小值Z min，以及该待量化数据中所有元素中的最大值Z max，之后处理器可以根据该最小值Z min和最大值Z max计算获得上述偏移量。具体的偏移量计算方式如下：
Figure PCTCN2019106801-appb-000137
其中，o表示偏移量，Z min表示待量化数据所有元素中的最小值，Z max表示待量化数据所有元素中的最大值。
进一步地，处理器可以根据该待量化数据所有元素中的最小值Z min和最大值Z max确定该待量化数据中的绝对值最大值Z 2，
Figure PCTCN2019106801-appb-000138
这样，处理器可以根据偏移量o将待量化数据进行平移，将非对称的待量化数据转化为对称的待量化数据，如图3-3所示。处理器还可以根据该待量化数据中的绝对值最大值Z 2进一步确定点位置s，其中，点位置可以按照如下公式进行计算：
Figure PCTCN2019106801-appb-000139
其中，ceil为向上取整，s为点位置，n为数据位宽。
之后，处理器可以根据该偏移量及其对应的点位置对待量化数据进行量化，获得量化数据：
Figure PCTCN2019106801-appb-000140
其中，s为根据上述公式(14)确定的点位置，o为偏移量，I x为量化数据，F x为待量化数据，round为进行四舍五入的取整运算。可以理解的是，也可以采用其他的取整运算方法，例如采用向上取整、向下取整、向零取整等取整运算，替换公式(15)中的四舍五入的取整运算。
进一步地，该待量化数据对应的中间表示数据F x1可以是：
Figure PCTCN2019106801-appb-000141
其中，s为根据上述公式(14)确定的点位置，o为偏移量，F x为待量化数据，round为进行四舍五入的取整运算。F x1可以是对上述的量化数据I x进行反量化获得的数据，该中间表示数据F x1的数据表示格式与上述的待量化数据F x的数据表示格式一致，该中间表示数据F x1可以用于计算量化误差，详见下文。其中，反量化是指量化的逆过程。
进一步可选地，处理器可以根据该待量化数据中的绝对值最大值Z 2进一步确定点位置s和第一缩放系数f 1，其中，点位置s具体计算方式可参见上述公式(14)。第一缩放系数f 1可以按照如下公式进行计算：
Figure PCTCN2019106801-appb-000142
处理器可以根据偏移量及其对应的第一缩放系数f 1和点位置s，对待量化数据进行量化，获得量化数据：
Figure PCTCN2019106801-appb-000143
其中，f 1为第一缩放系数，s为根据上述公式(14)确定的点位置，o为偏移量，I x为量化数据，F x为待量化数据，round为进行四舍五入的取整运算。可以理解的是，也可以采用其他的取整运算方法，例如采用向上取整、向下取整、向零取整等取整运算，替换公式(18)中的四舍五入的取整运算。
进一步地，该待量化数据对应的中间表示数据F x1可以是：
Figure PCTCN2019106801-appb-000144
其中，f 1为第一缩放系数，s为根据上述公式(14)确定的点位置，o为偏移量，F x为待量化数据，round为进行四舍五入的取整运算。F x1可以是对上述的量化数据I x进行反量化获得的数据，该中间表示数据F x1的数据表示格式与上述的待量化数据F x的数据表示格式一致，该中间表示数据F x1可以用于计算量化误差，详见下文。其中，反量化是指量化的逆过程。
可选地，该缩放系数还可以包括第二缩放系数，该第二缩放系数可以按照如下方式进行计算：
Figure PCTCN2019106801-appb-000145
处理器可以单独使用第二缩放系数对待量化数据F x进行量化，获得量化数据：
Figure PCTCN2019106801-appb-000146
其中，f 2为第二缩放系数，I x为量化数据，F x为待量化数据，round为进行四舍五入的取整运算。可以理解的是，也可以采用其他的取整运算方法，例如采用向上取整、向下取整、向零取整等取整运算，替换公式(21)中的四舍五入的取整运算。可以理解的是，在数据位宽一定的情况下，采用不同的缩放系数，可以调整量化后数据的数值范围。
进一步地，该待量化数据对应的中间表示数据F x1可以是：
Figure PCTCN2019106801-appb-000147
其中，f 2为第二缩放系数，F x为待量化数据，round为进行四舍五入的取整运算。F x1可以是对上述的量化数据I x进行反量化获得的数据，该中间表示数据F x1的数据表示格式与上述的待量化数据F x的数据表示格式一致，该中间表示数据F x1可以用于计算量化误差，详见下文。其中，反量化是指量化的逆过程。
进一步地，上述第二缩放系数可以根据点位置和第一缩放系数f 1确定。即第二缩放系数可以按照如下公式进行计算：
f 2＝2 s×f 1        公式(23)
其中，s为根据上述公式(14)确定的点位置，f 1是按照上述公式(17)计算获得的第一缩放系数。
可选地，处理器还可以根据偏移量o对待量化数据进行量化，此时点位置s和/或缩放系数可以为预设值。此时，处理器根据偏移量对待量化数据进行量化，获得量化数据：
I x＝round(F x-o)        公式(24)
其中，o为偏移量，I x为量化数据，F x为待量化数据，round为进行四舍五入的取整运算。可以理解的是，也可以采用其他的取整运算方法，例如采用向上取整、向下取整、向零取整等取整运算，替换公式(24)中的四舍五入的取整运算。可以理解的是，在数据位宽一定的情况下，采用不同的偏移量，可以调整量化后数据的数值与量化前数据之间的偏移量。
进一步地，该待量化数据对应的中间表示数据F x1可以是：
F x1＝round(F x-o)+o     公式(25)
其中，o为偏移量，F x为待量化数据，round为进行四舍五入的取整运算。F x1可以是对上述的量化数据I x进行反量化获得的数据，该中间表示数据F x1的数据表示格式与上述的待量化数据F x的数据表示格式一致，该中间表示数据F x1可以用于计算量化误差，详见下文。其中，反量化是指量化的逆过程。
本披露的量化操作不仅可以用于上述浮点数据的量化，还可以用于实现定点数据的量化。可选地，该第一数据格式的运算数据也可以是定点表示的运算数据，该第二数据格式的运算数据可以是定点表示的运算数据，且第二数据格式的运算数据的数据表示范围小于第一数据格式的数据表示范围，第二数据格式的小数点位数大于第一数据格式的小数点位数，即第二数据格式的运算数据相较于第一数据格式的运算数据具有更高的精度。例如，该第一数据格式的运算数据为占用16位的定点数据，该第二数据格式可以是占用8位的定点数据。本披露实施例中，可以通过定点表示的运算数据进行量化处理，从而进一步减小运算数据占用的存储空间，提高运算数据的访存效率及运算效率。
本披露一实施例的量化参数调整方法，能够应用于神经网络的训练或微调过程中，从而在神经网络的训练或微调过程中，动态地调整神经网络运算过程中运算数据的量化参数，以提高该神经网络的量化精度。其中，神经网络可以是深度神经网络或卷积神经网络等等，此处不做具体限定。
应当清楚的是，神经网络的训练(Training)是指对神经网络(该神经网络的权值可以是随机数)进行多次迭代运算(iteration)，使得神经网络的权值能够满足预设条件的过程。其中，一次迭代运算一般包括一次正向运算、一次反向运算和一次权值更新运算。正向运算是指根据神经网络的输入数据进行正向推理，获得正向运算结果的过程。反向运算是根据正向运算结果与预设参考值确定损失值，并根据该损失值确定权值梯度值和/或输入数据梯度值的过程。权值更新运算是指根据权值梯度值调整神经网络的权值的过程。具体地，神经网络的训练过程如下：处理器可以采用权值为随机数的神经网络对输入数据进行正向运算，获得正向运算结果。之后处理器根据该正向运算结果与预设参考值确定损失值，根据该损失值确定权值梯度值和/或输入数据梯度值。最后，处理器可以根据权值梯度值更新神经网络的梯度值，获得新的权值，完成一次迭代运算。处理器循环执行多次迭代运算，直至神经网络的正向运算结果满足预设条件。例如，当神经网络的正向运算结果收敛于预设参考值时，结束训练。或者，当神经网络的正向运算结果与预设参考值确定的损失值小于或等于预设精度时，结束训练。
微调是指对神经网络(该神经网络的权值已经处于收敛状态而非随机数)进行多次迭代运算，以使得神经网络的精度能够满足预设需求的过程。该微调过程与上述训练过程基本一致，可以认为是对处于收敛状态的神经网络进行重训练的过程。推理(Inference)是指采用权值满足预设条件的神经网络进行正向运算，从而实现识别或分类等功能的过程，如采用神经网络进行图像识别等等。
本披露实施例中，在上述神经网络的训练或微调过程中，可以在神经网络运算的不同阶段采用不同的量化参数对神经网络的运算数据进行量化，并根据量化后的数据进行迭代 运算，从而可以减小神经网络运算过程中的数据存储空间，提高数据访存效率及运算效率。如图3-4所示，上述方法可以包括：
S100、获取待量化数据的数据变动幅度。
可选地，处理器可以直接读取该待量化数据的数据变动幅度，该待量化数据的数据变动幅度可以是用户输入的。
可选地，处理器也可以根据当前迭代的待量化数据和历史迭代的待量化数据，计算获得上述的待量化数据的数据变动幅度，其中当前迭代是指当前执行的迭代运算，历史迭代是指在当前迭代之前执行的迭代运算。例如，处理器可以获取当前迭代的待量化数据中元素的最大值以及元素的平均值，以及各个历史迭代的待量化数据中元素的最大值以及元素的平均值，并根据各次迭代中元素的最大值和元素的平均值，确定待量化数据的变动幅度。若当前迭代的待量化数据中元素的最大值与预设数量的历史迭代的待量化数据中元素的最大值较为接近，且当前迭代的待量化数据中元素的平均值与预设数量的历史迭代的待量化数据中元素的平均值较为接近时，则可以确定上述的待量化数据的数据变动幅度较小。否则，则可以确定待量化数据的数据变动幅度较大。再如，该待量化数据的数据变动幅度可以采用待量化数据的滑动平均值或方差等进行表示，此处不做具体限定。
本披露实施例中，该待量化数据的数据变动幅度可以用于确定是否需要调整待量化数据的量化参数。例如，若待量化数据的数据变动幅度较大，则可以说明需要及时调整量化参数，以保证量化精度。若待量化数据的数据变动幅度较小，则当前检验迭代及其之后一定数量的迭代可以沿用历史迭代的量化参数，从而可以避免频繁的调整量化参数，提高量化效率。
其中，每次迭代涉及至少一个待量化数据，该待量化数据可以是浮点表示的运算数据，也可以是定点表示的运算数据。可选地，每次迭代的待量化数据可以是神经元数据、权值数据或梯度数据中的至少一种，梯度数据还可以包括神经元梯度数据和权值梯度数据等。
S200、根据所述待量化数据的数据变动幅度，确定目标迭代间隔，以根据该目标迭代间隔调整神经网络运算中的量化参数，其中，所述目标迭代间隔包括至少一次迭代，所述神经网络的量化参数用于实现对所述神经网络运算中待量化数据的量化操作。
可选地，该量化参数可以包括上述的点位置和/或缩放系数，其中，缩放系数可以包括第一缩放系数和第二缩放系数。具体的点位置计算方法可以参见上述的公式(2)，缩放系数的计算方法可参见上述的公式(5)或(8)，此处不再赘述。可选地，该量化参数还可以包括偏移量，该偏移量的计算方法可参见上述的公式(12)；更进一步地，处理器还可以根据按照公式(14)确定点位置，根据上述的公式(17)或(20)确定缩放系数。本披露实施例中，处理器可以根据确定的目标迭代间隔，更新上述的点位置、缩放系数或偏移量中的至少一种，以调整该神经网络运算中的量化参数。也就是说，该神经网络运算中的量化参数可以根据神经网络运算中待量化数据的数据变动幅度进行更新，从而可以保证量化精度。
可以理解的是，通过对神经网络训练或微调过程中的运算数据的变化趋势进行统计和 分析，可以得到待量化数据的数据变动曲线。如图3-5所示，根据该数据变动曲线可以获知，在神经网络训练或微调的初期，不同迭代的待量化数据的数据变动较为剧烈，随着训练或微调运算的进行，不同迭代的待量化数据的数据变动逐渐趋于平缓。因此，在神经网络训练或微调的初期，可以较为频繁地调整量化参数；在神经网络训练或微调的中期和后期，可以间隔多次迭代或训练周期再调整量化参数。本披露的方法即是通过确定合适的迭代间隔，以取得量化精度和量化效率的平衡。
具体地，处理器可以通过待量化数据的数据变动幅度，确定目标迭代间隔，以根据该目标迭代间隔调整神经网络运算中的量化参数。可选地，该目标迭代间隔可以随着待量化数据的数据变动幅度的减小而增大。也就是说，该待量化数据的数据变动幅度越大时，则该目标迭代间隔越小，表明量化参数的调整越频繁。该待量化数据的数据变动幅度越小时，则该目标迭代间隔越大，表明量化参数的调整越不频繁。当然，在其他实施例中，上述的目标迭代间隔还可以是超参数，例如，该目标迭代间隔可以是用户自定义设置的。
可选地，上述的权值数据、神经元数据及梯度数据等各种待量化数据可以分别具有的不同的迭代间隔。相应地，处理器可以分别获取各种待量化数据对应的数据变动幅度，以分别根据每种待量化数据的数据变动幅度，确定相应种类的待量化数据对应的目标迭代间隔。也就是说，各种待量化数据的量化过程可以是异步进行的。本披露实施例中，由于不同种类的待量化数据之间具有差异性，因此可以采用不同的待量化数据的数据变动幅度，确定相应的目标迭代间隔，并分别根据相应的目标迭代间隔确定对应的量化参数，从而可以保证待量化数据的量化精度，进而保证神经网络的运算结果的正确性。
当然，在其他实施例中，针对不同种类的待量化数据还可以确定相同的目标迭代间隔，以根据该目标迭代间隔调整相应待量化数据对应的量化参数。例如，处理器可以分别获取各种待量化数据的数据变动幅度，并根据最大的待量化数据的数据变动幅度确定目标迭代间隔，并根据该目标迭代间隔分别确定各种待量化数据的量化参数。更进一步地，不同种类的待量化数据还可以采用相同的量化参数。
进一步可选地，上述的神经网络可以包括至少一个运算层，该待量化数据可以是各个运算层涉及的神经元数据、权值数据或梯度数据中的至少一种。此时，处理器可以获得当前运算层涉及的待量化数据，并根据上述方法确定当前运算层中各种待量化数据的数据变动幅度及对应的目标迭代间隔。
可选地，处理器可以在每次迭代运算过程中均确定一次上述的待量化数据的数据变动幅度，并根据相应的待量化数据的数据变动幅度确定一次目标迭代间隔。也就是说，处理器可以在每次迭代均计算一次目标迭代间隔。具体的目标迭代间隔的计算方式可参见下文中的描述。进一步地，处理器可以根据预设条件从各次迭代中选定检验迭代，在各次检验迭代处确定待量化数据的变动幅度，并根据检验迭代对应的目标迭代间隔对量化参数等的更新调整。此时，若该迭代不是选定检验迭代，处理器可以忽略该迭代对应的目标迭代间隔。
可选地，每个目标迭代间隔可以对应一检验迭代，该检验迭代可以是该目标迭代间隔 的起始迭代，也可以是该目标迭代间隔的终止迭代。处理器可以在各个目标迭代间隔的检验迭代处调整神经网络的量化参数，以实现根据目标迭代间隔调整神经网络运算的量化参数。其中，检验迭代可以是用于核查当前量化参数是否满足待量化数据的需求的时间点。该调整前的量化参数可以与调整后的量化参数相同，也可以与调整后的量化参数不同。可选地，相邻的检验迭代之间的间隔可以大于或等于一个目标迭代间隔。
例如，该目标迭代间隔可以从当前检验迭代开始计算迭代数量，该当前检验迭代可以是该目标迭代间隔的起始迭代。例如，当前检验迭代为第100次迭代，处理器根据待量化数据的数据变动幅度，确定目标迭代间隔的迭代间隔为3，则处理器可以确定该目标迭代间隔包括3次迭代，分别为第100次迭代、第101次迭代和第102次迭代。处理器可以在该第100次迭代处调整神经网络运算中的量化参数。其中，当前检验迭代是处理器当前执行量化参数更新调整时对应的迭代运算。
可选地，目标迭代间隔还可以是从当前检验迭代的下一次迭代开始计算迭代数量，该当前检验迭代可以是当前检验迭代之前的上一迭代间隔的终止迭代。例如，当前检验迭代为第100次迭代，处理器根据待量化数据的数据变动幅度，确定目标迭代间隔的迭代间隔为3，则处理器可以确定该目标迭代间隔包括3次迭代，分别为第101次迭代、第102次迭代和第103次迭代。处理器可以在该第100次迭代和第103次迭代处调整神经网络运算中的量化参数。本披露对目标迭代间隔的确定方式不做具体限定。
在一个实施例中，根据上文中点位置、缩放系数及偏移量的计算公式可以看出，量化参数往往与待量化数据相关，因此，上述操作S100中，待量化数据的数据变动幅度也可以通过量化参数的变动幅度间接确定，该待量化数据的数据变动幅度可以通过量化参数的变动幅度进行表征。具体地，如图3-6所示，上述操作S100可以包括：
S110、获取点位置的变动幅度；其中，所述点位置的变动幅度能够用于表征所述待量化数据的数据变动幅度，所述点位置的变动幅度与所述待量化数据的数据变动幅度正相关。
可选地，点位置的变动幅度能够间接反应待量化数据的变动幅度。该点位置的变动幅度可以是根据当前检验迭代的点位置和至少一次历史迭代的点位置确定的。其中，当前检验迭代的点位置及各次历史迭代的点位置可以根据公式(2)进行确定。当然，当前检验迭代的点位置及各次历史迭代的点位置还可以根据公式(14)进行确定。
例如，处理器还可以计算当前检验迭代的点位置和历史迭代的点位置的方差等，并根据该方差确定点位置的变动幅度。再如，处理器可以根据当前检验迭代的点位置和历史迭代的点位置的平均值，确定点位置的变动幅度。具体地，如图3-7所示，上述操作S110可以包括：
S111、根据所述当前检验迭代之前的上一检验迭代对应的点位置，以及所述上一检验迭代之前的历史迭代对应的点位置，确定第一均值。其中，上一检验迭代为上一次调整所述量化参数时对应的迭代，上一检验迭代与所述当前检验迭代之间间隔至少一个迭代间隔。
可选地，至少一次历史迭代可以分属于至少一个迭代间隔中，每个迭代间隔可以对应有一个检验迭代，相邻的两个检验迭代可以具有一个迭代间隔。上述操作S111中的上一 检验迭代可以是目标迭代间隔之前的上一迭代间隔对应的检验迭代。
可选地，该第一均值可以按照如下公式进行计算：
M1＝a1×s t-1+a2×s t-2+a3×s t-3+…+am×s 1   公式(26)
其中，a1～am是指各次迭代的点位置对应的计算权重，s t-1是指上一检验迭代对应的点位置，s t-2，s t-3…s 1是指上一检验迭代之前的历史迭代对应的点位置，M1是指上述的第一均值。进一步地，根据数据的分布特性，历史迭代与该上一检验迭代距离越远，对该上一检验迭代附近的迭代的点位置的分布及变动幅度影响越小，因此，上述计算权重可以按照a1～am的顺序依次减小。
例如，上一检验迭代为神经网络运算的第100次迭代，历史迭代可以是第1次迭代至第99次迭代，则处理器可以获得该第100次迭代的点位置(即s t-1)，并获得该第100次迭代之前的历史迭代的点位置，即s 1可以指神经网络的第1次迭代对应的点位置……，s t-3可以指神经网络的第98次迭代对应的点位置，s t-2可以指神经网络的第99次迭代对应的点位置。进一步地，处理器可以根据上述公式计算获得第一均值。
更进一步地，该第一均值可以根据各个迭代间隔对应的检验迭代的点位置进行计算。例如，该第一均值可以按照如下公式进行计算：
M1＝a1×s t-1+a2×s t-2+a3×s t-3+…+am×s 1；
其中，a1～am是指各次检验迭代的点位置对应的计算权重，s t-1是指上一检验迭代对应的点位置，s t-2，s t-3…s 1是指上一检验迭代之前的预设数量的迭代间隔的检验迭代对应的点位置，M1是指上述的第一均值。
例如，上一检验迭代为神经网络运算的第100次迭代，历史迭代可以是第1次迭代至第99次迭代，该99次历史迭代可以分属于11个迭代间隔。比如，第1次迭代至第9次迭代属于第1个迭代间隔，第10次迭代至第18次迭代属于第2个迭代间隔，……，第90次迭代至第99次迭代属于第11个迭代间隔。则处理器可以获得该第100次迭代的点位置(即s t-1)，并获得该第100次迭代之前的迭代间隔中检验迭代的点位置，即s 1可以指神经网络的第1个迭代间隔的检验迭代对应的点位置(比如s 1可以指神经网络的第1次迭代对应的点位置)，……，s t-3可以指神经网络的第10个迭代间隔的检验迭代对应的点位置(比如s t-3可以指神经网络的第81次迭代对应的点位置)，s t-2可以指神经网络的第11个迭代间隔的检验迭代对应的点位置(比如，s t-2可以指神经网络的第90次迭代对应的点位置)。进一步地，处理器可以根据上述公式计算获得第一均值M1。
本披露实施例中，为方便举例说明，假定该迭代间隔包含的迭代数量相同。而在实际使用过程中，该迭代间隔包含的迭代数量可以不相同。可选地，该迭代间隔包含的迭代数量随迭代的增加而增加，即随着神经网络训练或微调的进行，迭代间隔可以越来越大。
再进一步地，为进一步简化计算，降低数据占用的存储空间，上述第一均值M1可以采用如下公式进行计算：
M1＝α×s t-1+(1-α)×M0   公式(27)
其中，α是指上一检验迭代对应的点位置的计算权重，s t-1是指上一检验迭代对应的 点位置，M0是指该上一检验迭代之前的检验迭代对应的滑动平均值，该M0的具体计算方式可参照上述的M1的计算方式，此处不再赘述。
S112、根据当前检验迭代对应的点位置及所述当前检验迭代之前的历史迭代的点位置，确定第二均值。其中，当前检验迭代对应的点位置可以根据当前检验迭代的目标数据位宽和待量化数据确定。
可选地，该第二均值M2可以按照如下公式进行计算：
M2＝b1×s t+b2×s t-1+b3×s t-2+…+bm×s 1   公式(28)
其中，b1～bm是指各次迭代的点位置对应的计算权重，s t是指当前检验迭代对应的点位置，s t-1，s t-2…s 1是指当前检验迭代之前的历史迭代对应的点位置，M2是指上述的第二均值。进一步地，根据数据的分布特性，历史迭代与该当前检验迭代距离越远，对该当前检验迭代附近的迭代的点位置的分布及变动幅度影响越小，因此，上述计算权重可以按照b1～bm的顺序依次减小。
例如，当前检验迭代为神经网络运算的第101次迭代，该当前检验迭代之前的历史迭代是指第1次迭代至第100次迭代。则处理器可以获得该第101次迭代的点位置(即s t)，并获得该第101次迭代之前的历史迭代的点位置，即s 1可以指神经网络的第1次迭代对应的点位置……，s t-2可以指神经网络的第99次迭代对应的点位置，s t-1可以指神经网络的第100次迭代对应的点位置。进一步地，处理器可以根据上述公式计算获得第二均值M2。
可选地，该第二均值可以根据各个迭代间隔对应的检验迭代的点位置进行计算。具体地，如图3-8所示，上述操作S112可以包括如下操作：
S1121、获取预设数量的中间滑动平均值，其中，各个所述中间滑动平均值是根据所述当前检验迭代之前所述预设数量的检验迭代确定，所述检验迭代为调整所述神经网络量化过程中的参数时对应的迭代；
S1122、根据所述当前检验迭代的点位置以及所述预设数量的中间滑动平均值，确定所述第二均值。
例如，该第二均值可以按照如下公式进行计算：
M2＝b1×s t+b2×s t-1+b3×s t-2+…+bm×s 1；
其中，b1～bm是指各次迭代的点位置对应的计算权重，s t是指当前检验迭代对应的点位置，s t-1，s t-2…s 1是指当前检验迭代之前的检验迭代对应的点位置，M2是指上述的第二均值。
例如，当前检验迭代为第100次迭代，历史迭代可以是第1次迭代至第99次迭代，该99次历史迭代可以分属于11个迭代间隔。比如，第1次迭代至第9次迭代属于第1个迭代间隔，第10次迭代至第18次迭代属于第2个迭代间隔，……，第90次迭代至第99次迭代属于第11个迭代间隔。则处理器可以获得该第100次迭代的点位置(即s t)，并获得该第100次迭代之前的迭代间隔中检验迭代的点位置，即s 1可以指神经网络的第1个迭代间隔的检验迭代对应的点位置(比如s 1可以指神经网络的第1次迭代对应的点位置)，……，s t-2可以指神经网络的第10个迭代间隔的检验迭代对应的点位置(比如s t-2可 以指神经网络的第81次迭代对应的点位置)，s t-1可以指神经网络的第11个迭代间隔的检验迭代对应的点位置(比如，s t-1可以指神经网络的第90次迭代对应的点位置)。进一步地，处理器可以根据上述公式计算获得第二均值M2。
本披露实施例中，为方便举例说明，假定该迭代间隔包含的迭代数量相同。而在实际使用过程中，该迭代间隔包含的迭代数量可以不相同。可选地，该迭代间隔包含的迭代数量随迭代的增加而增加，即随着神经网络训练或微调的进行，迭代间隔可以越来越大。
更进一步地，为简便计算，降低数据占用的存储空间，处理器可以根据所述当前检验迭代对应的点位置以及所述第一均值，确定所述第二均值，即上述第二均值可以采用如下公式进行计算：
M2＝β×s t+(1-β)×M1   公式(29)
其中，β是指当前检验迭代对应的点位置的计算权重，M1是指上述的第一均值。
S113、根据所述第一均值和所述第二均值确定第一误差，所述第一误差用于表征所述当前检验迭代及所述历史迭代的点位置的变动幅度。
可选地，第一误差可以等于第二均值与上述的第一均值之间的差值的绝对值。具体地，上述的第一误差可以按照如下公式进行计算：
diff update1＝|M2-M1|＝β|s (t)-M1|    公式(30)
可选地，上述的当前检验迭代的点位置可以根据当前检验迭代的待量化数据和当前检验迭代对应的目标数据位宽确定，具体的点位置计算方式可以参见上文的公式(2)或公式(14)。其中，上述当前检验迭代对应的目标数据位宽可以是超参数。进一步可选地，该当前检验迭代对应的目标数据位宽可以是用户自定义输入的。可选地，在神经网络训练或微调过程中的待量化数据对应的数据位宽可以是不变的，即同一神经网络的同种待量化数据采用同一数据位宽进行量化，例如，针对该神经网络在各次迭代中的神经元数据均采用8比特的数据位宽进行量化。
可选地，神经网络训练或微调过程中的待量化数据对应的数据位宽为可变的，以保证数据位宽能够满足待量化数据的量化需求。也就是说，处理器可以根据待量化数据，自适应的调整该待量化数据对应的数据位宽，获得该待量化数据对应的目标数据位宽。具体地，处理器可以首先确定当前检验迭代对应的目标数据位宽，之后，处理器可以根据该当前检验迭代对应的目标数据位宽及该当前检验迭代对应的待量化数据，确定当前检验迭代对应的点位置。
具体地，如图3-9所示，上述操作S110可以包括：
S114、根据所述当前检验迭代的待量化数据和所述当前检验迭代的量化数据，确定量化误差，其中，所述当前检验迭代的量化数据是通过对所述当前检验迭代的待量化数据进行量化获得。
可选地，上述处理器可以采用初始数据位宽对待量化数据进行量化，获得上述的量化数据。该当前检验迭代的初始数据位宽可以是超参数，该当前检验迭代的初始数据位宽也可以是根据该当前检验迭代之前的上一检验迭代的待量化数据确定的。
具体地，处理器可以根据当前检验迭代的待量化数据和当前检验迭代的量化数据，确定中间表示数据。可选地，所述中间表示数据与上述的待量化数据的表示格式一致。例如，处理器可以对上述的量化数据进行反量化，获得与待量化数据的表示格式一致的中间表示数据，其中，反量化是指量化的逆过程。例如，该量化数据可以采用上述公式(3)获得，处理器还可以按照上述公式(4)对量化数据进行反量化，获得相应的中间表示数据，并根据待量化数据和中间表示数据确定量化误差。
进一步地，处理器可以根据待量化数据及其对应的中间表示数据计算获得量化误差。设当前检验迭代的待量化数据为F x＝[z 1,z 2…,z m]，该待量化数据对应的中间表示数据为F x1＝[z 1 (n),z 2 (n)…,z m (n)]。处理器可以根据该待量化数据F x及其对应的中间表示数据F x1确定误差项，并根据该误差项确定量化误差。
可选地，处理器可以根据中间表示数据F x1中各元素的和，以及待量化数据F x中各元素的和确定上述的误差项，该误差项可以是中间表示数据F x1中各元素的和与待量化数据F x中各元素的和的差值。之后，处理器可以根据该误差项确定量化误差。具体的量化误差可以按照如下公式进行确定：
Figure PCTCN2019106801-appb-000148
其中，z i为待量化数据中的元素，z i (n)为中间表示数据F x1的元素。
可选地，处理器可以分别计算待量化数据中各元素与中间表示数据F x1中相应元素的差值，获得m个差值，并将该m个差值的和作为误差项。之后，处理器可以根据该误差项确定量化误差。具体的量化误差可以按照如下公式确定：
Figure PCTCN2019106801-appb-000149
其中，z i为待量化数据中的元素，z i (n)为中间表示数据F x1的元素。
可选地，上述待量化数据中各元素与中间表示数据F x1中相应元素的差值可以约等于2 s-1，因此，上述量化误差还可以按照如下公式确定：
Figure PCTCN2019106801-appb-000150
其中，m为目标数据对应的中间表示数据F x1的数量，s为点位置，z i为待量化数据中的元素。
可选地，所述中间表示数据也可以与上述的量化数据的数据表示格式一致，并根据该中间表示数据和量化数据确定量化误差。例如，待量化数据可以表示为：F x≈I x×2 s，则可以确定出中间表示数据
Figure PCTCN2019106801-appb-000151
该中间表示数据I x1可以与上述的量化数据具有相同的数据表示格式。此时处理器可以根据中间表示数据I x1和上述公式(3)计算获得的
Figure PCTCN2019106801-appb-000152
确定量化误差。具体的量化误差确定方式可参照上述的公式(31)～公式(33)。
S115、根据所述量化误差，确定所述当前检验迭代对应的目标数据位宽。
具体地，处理器可以根据该量化误差，自适应地调整当前检验迭代对应的数据位宽， 确定该当前检验迭代调整后的目标数据位宽。当该量化误差满足预设条件时，则可以保持当前检验迭代对应的数据位宽不变，即该当前检验迭代的目标数据位宽可以等于初始数据位宽。当量化误差不满足预设条件时，处理器可以调整当前检验迭代的待量化数据对应的数据位宽，获得当前检验迭代对应的目标数据位宽。当处理器采用该目标数据位宽对当前检验迭代的待量化数据进行量化时，量化误差满足上述的预设条件。可选地，上述的预设条件可以是用户设置的预设阈值。
可选地，如图3-10所示，上述操作S115可以包括：
S1150、处理器可以判断上述的量化误差是否大于或等于第一预设阈值。
若所述量化误差大于或等于第一预设阈值，则可以执行操作S1151，增大所述当前检验迭代对应的数据位宽，获得当前检验迭代的目标数据位宽。当量化误差小于第一预设阈值时，则可以保持当前检验迭代的数据位宽不变。
进一步可选地，处理器可以经过一次调整获得上述的目标数据位宽。例如，当前检验迭代的初始数据位宽为n1，处理器可以经一次调整确定该目标数据位宽n2＝n1+t，其中，t为数据位宽的调整值。其中，采用该目标数据位宽n2对当前检验迭代的待量化数据进行量化时，获得的量化误差可以小于所述第一预设阈值。
进一步可选地，处理器可以经过多次调整获得目标数据位宽，直至量化误差小于第一预设阈值，并将该量化误差小于第一预设阈值时的数据位宽作为目标数据位宽。具体地，若所述量化误差大于或等于第一预设阈值，则根据第一预设位宽步长确定第一中间数据位宽；之后处理器可以根据该第一中间数据位宽对当前检验迭代的待量化数据进行量化，获得量化数据，并根据所述当前检验迭代中待量化数据和所述当前检验迭代的量化数据，确定量化误差，直至所述量化误差小于所述第一预设阈值。处理器可以将该量化误差小于第一预设阈值时对应的数据位宽，作为该目标数据位宽。
例如，当前检验迭代的初始数据位宽为n1，处理器可以采用该初始数据位宽n1对当前检验迭代的待量化数据A进行量化，获得量化数据B1，并根据该待量化数据A和量化数据B1计算获得量化误差C1。在量化误差C1大于或等于第一预设阈值时，处理器确定第一中间数据位宽n2＝n1+t1，其中，t1为第一预设位宽步长。之后，处理器可以根据该第一中间数据位宽n2对当前检验迭代的待量化数据进行量化，获得当前检验迭代的量化数据B2，并根据该待量化数据A和量化数据B2计算获得量化误差C2。若该量化误差C2大于或等于第一预设阈值时，处理器确定第一中间数据位宽n2＝n1+t1+t1，之后根据该新的第一中间数据位宽对当前检验迭代的待量化数据A进行量化，并计算相应的量化误差，直至量化误差小于第一预设阈值。若量化误差C1小于第一预设阈值，则可以保持该初始数据位宽n1不变。
更进一步地，上述的第一预设位宽步长可以是恒定值，例如，每当量化误差大于第一预设阈值时，则处理器可以将当前检验迭代对应的数据位宽增大相同的位宽值。可选地，上述的第一预设位宽步长也可以是可变值，例如，处理器可以计算量化误差与第一预设阈值的差值，若该量化误差与第一预设阈值的差值越小，则第一预设位宽步长的值越小。
可选地，如图3-11所示，上述操作S115还可以包括：
S1152、处理器可以判断上述的量化误差是否小于或等于第一预设阈值。
若所述量化误差小于或等于第二预设阈值，则可以执行操作S1153，减小所述当前检验迭代对应的数据位宽，获得当前检验迭代的目标数据位宽。当量化误差大于第二预设阈值时，则可以保持当前检验迭代的数据位宽不变。
进一步可选地，处理器可以经过一次调整获得上述的目标数据位宽。例如，当前检验迭代的初始数据位宽为n1，处理器可以经一次调整确定该目标数据位宽n2＝n1-t，其中，t为数据位宽的调整值。其中，采用该目标数据位宽n2对当前检验迭代的待量化数据进行量化时，获得的量化误差可以大于所述第二预设阈值。
进一步可选地，处理器可以经过多次调整获得目标数据位宽，直至量化误差大于第二预设阈值，并将该量化误差大于第二预设阈值时的数据位宽作为目标数据位宽。具体地，若所述量化误差小于或等于第一预设阈值，则根据第二预设位宽步长确定第二中间数据位宽；之后处理器可以根据该第二中间数据位宽对当前检验迭代的待量化数据进行量化，获得量化数据，并根据所述当前检验迭代中待量化数据和所述当前检验迭代的量化数据，确定量化误差，直至所述量化误差大于所述第二预设阈值。处理器可以将该量化误差大于第二预设阈值时对应的数据位宽，作为该目标数据位宽。
例如，当前检验迭代的初始数据位宽为n1，处理器可以采用该初始数据位宽n1对当前检验迭代的待量化数据A进行量化，获得量化数据B1，并根据该待量化数据A和量化数据B1计算获得量化误差C1。在量化误差C1小于或等于第二预设阈值时，处理器确定第二中间数据位宽n2＝n1-t2，其中，t2为第二预设位宽步长。之后，处理器可以根据该第二中间数据位宽n2对当前检验迭代的待量化数据进行量化，获得当前检验迭代的量化数据B2，并根据该待量化数据A和量化数据B2计算获得量化误差C2。若该量化误差C2小于或等于第二预设阈值时，处理器确定第二中间数据位宽n2＝n1-t2-t2，之后根据该新的第二中间数据位宽对当前检验迭代的待量化数据A进行量化，并计算相应的量化误差，直至量化误差大于第二预设阈值。若量化误差C1大于第二预设阈值，则可以保持该初始数据位宽n1不变。
更进一步地，上述的第二预设位宽步长可以是恒定值，例如，每当量化误差小于第二预设阈值时，则处理器可以将当前检验迭代对应的数据位宽减小相同的位宽值。可选地，上述的第二预设位宽步长也可以是可变值，例如，处理器可以计算量化误差与第二预设阈值的差值，若该量化误差与第二预设阈值的差值越小，则第二预设位宽步长的值越小。
可选地，如图3-12所示，当处理器确定量化误差小于第一预设阈值，且量化误差大于第二预设阈值时，可以保持当前检验迭代的数据位宽不变，其中，第一预设阈值大于第二预设阈值。即当前检验迭代的目标数据位宽可以等于初始数据位宽。其中，图3-12中仅以举例的方式说明本披露一实施例的数据位宽确定方式，图3-12中各个操作的顺序可以适应性调整，此处并不做具体限定。
本披露实施例中，由于当前检验迭代的数据位宽发生变化时，会相应的带来点位置的 变化。但此时点位置的变化并非是待量化数据的数据变动引起的，根据上述公式(30)确定的第一误差计算获得的目标迭代间隔可能不准确，从而会影响量化的精度。因此，在当前检验迭代的数据位宽发生变化时，可以相应的调整上述的第二均值，以保证第一误差能够准确的反映点位置的变动幅度，进而保证目标迭代间隔的准确性和可靠性。具体地，如图3-13所示，上述方法还可以包括：
S116、根据所述目标数据位宽，确定所述当前检验迭代的数据位宽调整值；
具体地，处理器可以根据当前检验迭代的目标数据位宽和初始数据位宽，确定当前检验迭代的数据位宽调整值。其中，该数据位宽调整值＝目标数据位宽-初始数据位宽。当然，处理器还可以直接获得当前检验迭代的数据位宽调整值。
S117、根据所述当前检验迭代的数据位宽调整值，更新上述的第二均值。
具体地，若数据位宽调整值大于预设参数(例如，该预设参数可以等于零)时，即当前检验迭代的数据位宽增加时，处理器可以相应地减少第二均值。若数据位宽调整值小于预设参数(例如，该预设参数可以等于零)时，即当前检验迭代的数据位宽减少时，处理器可以相应地增加第二均值。若数据位宽调整值等于预设参数，即当数据位宽调整值等于0时，此时当前迭代对应的待量化数据未发生改变，更新后的第二均值等于更新前的第二均值，该更新前的第二均值根据上述公式(29)计算获得。可选地，若数据位宽调整值等于预设参数，即当数据位宽调整值等于0时，处理器可以不更新第二均值，即处理器可以不执行上述操作S117。
例如，更新前的第二均值M2＝β×s t+(1-β)×M1；当前检验迭代对应的目标数据位宽n2＝初始数据位宽n1+Δn时，其中，Δn表示数据位宽调整值。此时，更新后的第二均值M2＝β×(s t-Δn)+(1-β)×(M1-Δn)。当前检验迭代对应的目标数据位宽n2＝初始数据位宽n1-Δn时，其中，Δn表示数据位宽调整值，此时，更新后的第二均值M2＝β×(s t-Δn)+(1-β)×(M1+Δn)，其中，s t是指当前检验迭代是根据目标数据位宽确定的点位置。
再如，更新前的第二均值M2＝β×s t+(1-β)×M1；当前检验迭代对应的目标数据位宽n2＝初始数据位宽n1+Δn时，其中，Δn表示数据位宽调整值。此时，更新后的第二均值M2＝β×s t+(1-β)×M1-Δn。再如，当前检验迭代对应的目标数据位宽n2＝初始数据位宽n1-Δn时，其中，Δn表示数据位宽调整值，此时，更新后的第二均值M2＝β×s t+(1-β)×M1+Δn，其中，s t是指当前检验迭代是根据目标数据位宽确定的点位置。
进一步地，如图3-6所示，上述操作S200可以包括：
S210、根据点位置的变动幅度，确定目标迭代间隔，其中，该目标迭代间隔与上述的点位置的变动幅度负相关。即上述的点位置的变动幅度越大，则该目标迭代间隔越小。上述的点位置的变动幅度越小，则该目标迭代间隔越大。
如上所述，上述的第一误差可以表征点位置的变动幅度，因此，如图3-7所示，上述操作S210可以包括：
S211、处理器可以根据所述第一误差确定所述目标迭代间隔，其中，目标迭代间隔与所述第一误差负相关。即第一误差越大，则说明点位置的变化幅度越大，进而表明待量化数据的数据变动幅度越大，此时，目标迭代间隔越小。
具体地，处理器可以根据以下公式计算得到目标迭代间隔I：
Figure PCTCN2019106801-appb-000153
其中，I为目标迭代间隔，diff update1表示上述的第一误差，δ和γ可以为超参数。
可以理解的是，第一误差可以用于衡量点位置的变动幅度，第一误差越大，表明点位置的变动幅度越大，进而说明待量化数据的数据变动幅度越大，目标迭代间隔需要设置得越小。也就是说，第一误差越大，量化参数的调整越频繁。
在本实施例中，通过计算点位置的变动幅度(第一误差)，并根据点位置的变动幅度确定目标迭代间隔。由于量化参数根据目标迭代间隔确定，也就使得根据量化参数进行量化得到的量化数据，能够更加符合目标数据的点位置的变动趋势，在保证量化精度的同时，提高神经网络的运行效率。
可选地，处理器在当前检验迭代处确定目标迭代间隔后，可以进一步在当前检验迭代处确定目标迭代间隔对应的量化参数和数据位宽等参数，从而根据目标迭代间隔更新量化参数。其中，量化参数可以包括点位置和/或缩放系数。进一步地，该量化参数还可以包括偏移量。该量化参数的具体计算方式可参见上文中的描述。如图3-14所示，上述方法还可以包括：
S300、处理器根据目标迭代间隔调整神经网络运算中的量化参数。
具体地，处理器可以根据目标迭代间隔确定检验迭代，并在各个检验迭代处更新目标迭代间隔，还可以在各个检验迭代处更新量化参数。例如，神经网络运算中的数据位宽保持不变，此时，处理器可以在各个检验迭代处直接根据检验迭代的待量化数据，调整点位置等量化参数。再如，神经网络运算中的数据位宽可变，此时，处理器可以在各个检验迭代处更新数据位宽，并根据更新后的数据位宽和该检验迭代的待量化数据，调整点位置等量化参数。
本披露实施例中，处理器在各个检验迭代处更新量化参数，以保证当前量化参数满足待量化数据的量化需求。其中，更新前的目标迭代间隔与更新后的目标迭代间隔可以相同，也可以不同。更新前的数据位宽与更新后的数据位宽可以相同，也可以不同；即不同迭代间隔的数据位宽可以相同，也可以不同。更新前的量化参数与更新后的量化参数可以相同，也可以不同；即不同迭代间隔的量化参数可以相同，也可以不同。
可选地，上述操作S300中，处理器可以在检验迭代处确定目标迭代间隔中的量化参数，以调整神经网络运算中的量化参数。
在一种情况下，该神经网络运算中的各次迭代对应的数据位宽均不发生变化，即该神经网络运算中各次迭代对应的数据位宽均相同，此时，处理器可以通过确定目标迭代间隔中的点位置等量化参数，实现根据目标迭代间隔对神经网络运算中的量化参数的调整的目的。其中，该目标迭代间隔中迭代对应的量化参数可以是一致的。也就是说，目标迭代间 隔中的各次迭代均采用同一点位置，仅在各次检验迭代处更新确定点位置等量化参数，从而可以避免每次迭代都对量化参数进行更新调整，从而减少了量化过程中的计算量，提高了量化操作的效率。
可选地，针对上述数据位宽不变的情况，目标迭代间隔中迭代对应的点位置可以保持一致。具体地，处理器可以根据当前检验迭代的待量化数据和该当前检验迭代对应的目标数据位宽，确定当前检验迭代对应的点位置，并将该当前检验迭代对应的点位置作为该目标迭代间隔对应的点位置，该目标迭代间隔中迭代均沿用当前检验迭代对应的点位置。可选地，该当前检验迭代对应的目标数据位宽可以是超参数。例如，该当前检验迭代对应的目标数据位宽是由用户自定义输入的。该当前检验迭代对应的点位置可以参见上文的公式(2)或公式(14)计算。
在一种情况下，该神经网络运算中的各次迭代对应的数据位宽可以发生变化，即不同目标迭代间隔对应的数据位宽可以不一致，但目标迭代间隔中各次迭代的数据位宽保持不变。其中，该目标迭代间隔中迭代对应的数据位宽可以是超参数，例如，该目标迭代间隔中迭代对应的数据位宽可以是用户自定义输入的。在一种情况下，该目标迭代间隔中迭代对应的数据位宽也可以是处理器计算获得的，例如，处理器可以根据当前检验迭代的待量化数据，确定当前检验迭代对应的目标数据位宽，并将该当前检验迭代对应的目标数据位宽作为目标迭代间隔对应的数据位宽。
此时，为简化量化过程中的计算量，该目标迭代间隔中对应的点位置等量化参数也可以保持不变。也就是说，目标迭代间隔中的各次迭代均采用同一点位置，仅在各次检验迭代处更新确定点位置等量化参数以及数据位宽，从而可以避免每次迭代都对量化参数进行更新调整，从而减少了量化过程中的计算量，提高了量化操作的效率。
可选地，针对上述目标迭代间隔对应的数据位宽不变的情况，目标迭代间隔中迭代对应的点位置可以保持一致。具体地，处理器可以根据当前检验迭代的待量化数据和该当前检验迭代对应的目标数据位宽，确定当前检验迭代对应的点位置，并将该当前检验迭代对应的点位置作为该目标迭代间隔对应的点位置，该目标迭代间隔中迭代均沿用当前检验迭代对应的点位置。可选地，该当前检验迭代对应的目标数据位宽可以是超参数。例如，该当前检验迭代对应的目标数据位宽是由用户自定义输入的。该当前检验迭代对应的点位置可以参见上文的公式(2)或公式(14)计算。
可选地，目标迭代间隔中迭代对应的缩放系数可以一致。处理器可以根据当前检验迭代的待量化数据，确定当前检验迭代对应的缩放系数，并将该当前检验迭代对应的缩放系数作为目标迭代间隔中各次迭代的缩放系数。其中，该目标迭代间隔中迭代对应的缩放系数一致。
可选地，目标迭代间隔中迭代对应的偏移量一致。处理器可以根据当前检验迭代的待量化数据，确定当前检验迭代对应的偏移量，并将该当前检验迭代对应的偏移量作为目标迭代间隔中各次迭代的偏移量。进一步地，处理器还可以确定待量化数据所有元素中的最小值和最大值，并进一步确定点位置和缩放系数等量化参数，具体可参见上文中的描述。 该目标迭代间隔中迭代对应的偏移量一致。
例如，该目标迭代间隔可以从当前检验迭代开始计算迭代数量，即目标迭代间隔对应的检验迭代可以是目标迭代间隔的起始迭代。例如，当前检验迭代为第100次迭代，处理器根据待量化数据的数据变动幅度，确定目标迭代间隔的迭代间隔为3，则处理器可以确定该目标迭代间隔包括3次迭代，分别为第100次迭代、第101次迭代和第102次迭代。进而处理器可以根据第100次迭代对应的待量化数据和目标数据位宽，确定该第100次迭代对应的点位置等量化参数，并可以采用该第100次迭代对应的点位置等量化参数对第100次迭代、第101次迭代和第102次迭代进行量化。这样，处理器在第101次迭代和第102次迭代无需计算点位置等量化参数，减少了量化过程中的计算量，提高了量化操作的效率。
可选地，目标迭代间隔还可以是从当前检验迭代的下一次迭代开始计算迭代数量，即该目标迭代间隔对应的检验迭代也可以是该目标迭代间隔的终止迭代。例如，当前检验迭代为第100次迭代，处理器根据待量化数据的数据变动幅度，确定目标迭代间隔的迭代间隔为3。则处理器可以确定该目标迭代间隔包括3次迭代，分别为第101次迭代、第102次迭代和第103次迭代。进而处理器可以根据第100次迭代对应的待量化数据和目标数据位宽，确定该第100次迭代对应的点位置等量化参数，并可以采用该第100次迭代对应的点位置等量化参数对第101次迭代、第102次迭代和第103次迭代进行量化。这样，处理器在第102次迭代和第103次迭代无需计算点位置等量化参数，减少了量化过程中的计算量，提高了量化操作的效率。
本披露实施例中，同一目标迭代间隔中各次迭代对应的数据位宽及量化参数均一致，即同一目标迭代间隔中各次迭代对应的数据位宽、点位置、缩放系数及偏移量均保持不变，从而在神经网络的训练或微调过程中，可以避免频繁地调整待量化数据的量化参数，减少了量化过程中的计算量，从而可以提高量化效率。并且，通过在训练或微调的不同阶段根据数据变动幅度，动态地调整量化参数，可以保证量化精度。
在另一情况下，该神经网络运算中的各次迭代对应的数据位宽可以发生变化，但目标迭代间隔中各次迭代的数据位宽保持不变。此时，目标迭代间隔中迭代对应的点位置等量化参数也可以不一致。处理器还可以根据当前检验迭代对应的目标数据位宽，确定目标迭代间隔对应的数据位宽，其中，目标迭代间隔中迭代对应的数据位宽一致。之后，处理器可以根据该目标迭代间隔对应的数据位宽和点位置迭代间隔，调整神经网络运算过程中的点位置等量化参数。可选地，如图3-15所示，上述操作S300还可以包括：
S310、根据当前检验迭代的待量化数据，确定目标迭代间隔对应的数据位宽；其中，该目标迭代间隔中迭代对应的数据位宽一致。也就是说，神经网络运算过程中的数据位宽每隔一个目标迭代间隔更新一次。可选地，该目标迭代间隔对应的数据位宽可以为当前检验迭代的目标数据位宽。该当前检验迭代的目标数据位宽可参见上文中的操作S114和S115，此处不再赘述。
例如，该目标迭代间隔可以从当前检验迭代开始计算迭代数量，即目标迭代间隔对应 的检验迭代可以是目标迭代间隔的起始迭代。例如，当前检验迭代为第100次迭代，处理器根据待量化数据的数据变动幅度，确定目标迭代间隔的迭代间隔为6，则处理器可以确定该目标迭代间隔包括6次迭代，分别为第100次迭代至第105次迭代。此时，处理器可以确定第100次迭代的目标数据位宽，且第101次迭代至第105次迭代沿用该第100次迭代的目标数据位宽，无需在第101次迭代至第105次迭代计算目标数据位宽，从而减少计算量，提高量化效率及运算效率。之后，第106次迭代可以作为当前检验迭代，并重复上述确定目标迭代间隔，以及更新数据位宽的操作。
可选地，目标迭代间隔还可以是从当前检验迭代的下一次迭代开始计算迭代数量，即该目标迭代间隔对应的检验迭代也可以是该目标迭代间隔的终止迭代。例如，当前检验迭代为第100次迭代，处理器根据待量化数据的数据变动幅度，确定目标迭代间隔的迭代间隔为6。则处理器可以确定该目标迭代间隔包括6次迭代，分别为第101次迭代至第106次迭代。此时，处理器可以确定第100次迭代的目标数据位宽，且第101次迭代至106次迭代沿用该第100次迭代的目标数据位宽，无需在第101次迭代至106次迭代计算目标数据位宽，从而减少计算量，提高量化效率及运算效率。之后，第106次迭代可以作为当前检验迭代，并重复上述确定目标迭代间隔，以及更新数据位宽的操作。
S320、处理器根据获取的点位置迭代间隔和所述目标迭代间隔对应的数据位宽，调整所述目标迭代间隔中迭代对应的点位置，以调整所述神经网络运算中的点位置等量化参数。
其中，所述点位置迭代间隔包含至少一次迭代，所述点位置迭代间隔中迭代的点位置一致。可选地，该点位置迭代间隔可以是超参数，例如，该点位置迭代间隔可以是用户自定义输入的。
可选地，所述点位置迭代间隔小于或等于所述目标迭代间隔。当该点位置迭代间隔与上述的目标迭代间隔相同时，处理器可以在当前检验迭代处同步更新数据位宽和点位置等量化参数。进一步可选地，目标迭代间隔中迭代对应的缩放系数可以一致。更进一步地，目标迭代间隔中迭代对应的偏移量一致。此时，该目标迭代间隔中的迭代对应的数据位宽和点位置等量化参数均相同，从而可以降低计算量，提高量化效率和运算效率。具体实现过程与上述实施例基本一致，可参见上文的描述，此处不再赘述。
当点位置迭代间隔小于上述的目标迭代间隔时，处理器可以在目标迭代间隔对应的检验迭代处更新数据位宽和点位置等量化参数，并在该点位置迭代间隔确定的子检验迭代处更新点位置等量化参数。由于在数据位宽不变的情况下，点位置等量化参数可以根据待量化数据进行微调，因此，在同一目标迭代间隔内也可以对点位置等量化参数进行调整，以进一步提高量化精度。
具体地，处理器可以根据当前检验迭代和点位置迭代间隔确定子检验迭代，该子检验迭代用于调整点位置，该子检验迭代可以是目标迭代间隔中的迭代。进一步地，处理器可以根据子检验迭代的待量化数据和目标迭代间隔对应的数据位宽，调整目标迭代间隔中迭代对应的点位置，其中，点位置的确定方式可以参照上述的公式(2)或公式(14)，此处不再赘述。
例如，当前检验迭代为第100次迭代，该目标迭代间隔为6，该目标迭代间隔包含的迭代为第100次迭代至第105次迭代。处理器获取的点位置迭代间隔为I s1＝3，则可以从当前检验迭代开始间隔三次迭代调整一次点位置。具体地，处理器可以将第100次迭代作为上述的子检验迭代，并计算获得该第100次迭代对应的点位置s1，在第100次迭代、第101次迭代和第102次迭代共用点位置s1进行量化。之后，处理器可以根据点位置迭代间隔I s1将第103次迭代作为上述的子检验迭代，同时处理器还可以根据第103次迭代对应的待量化数据和目标迭代间隔对应的数据位宽n确定第二个点位置迭代间隔对应的点位置s2，则在第103次迭代至第105次迭代中可以共用上述的点位置s2进行量化。本披露实施例中，上述的更新前的点位置s1与更新后的点位置s2的值可以相同，也可以不同。进一步地，处理器可以在第106次迭代重新根据待量化数据的数据变动幅度，确定下一目标迭代间隔以及该下一目标迭代间隔对应的数据位宽及点位置等量化参数。
再如，当前检验迭代为第100次迭代，该目标迭代间隔为6，该目标迭代间隔包含的迭代为第101次迭代至第106次迭代。处理器获取的点位置迭代间隔为I s1＝3，则可以从当前检验迭代开始间隔三次迭代调整一次点位置。具体地，处理器可以根据当前检验迭代的待量化数据和当前检验迭代对应的目标数据位宽n1，确定第一个点位置迭代间隔对应的点位置为s1，则在第101次迭代、第102次迭代和103次迭代共用上述的点位置s1进行量化。之后，处理器可以根据点位置迭代间隔I s1将第104次迭代作为上述的子检验迭代，同时处理器还可以根据第104次迭代对应的待量化数据和目标迭代间隔对应的数据位宽n1确定第二个点位置迭代间隔对应的点位置s2，则在第104次迭代至第106次迭代中可以共用上述的点位置s2进行量化。本披露实施例中，上述的更新前的点位置s1与更新后的点位置s2的值可以相同，也可以不同。进一步地，处理器可以在106次迭代重新根据待量化数据的数据变动幅度，确定下一目标迭代间隔以及该下一目标迭代间隔对应的数据位宽及点位置等量化参数。
可选地，该点位置迭代间隔可以等于1，即每次迭代均更新一次点位置。可选地，该点位置迭代间隔可以相同，也可以不同。例如，该目标迭代间隔包含的至少一个点位置迭代间隔可以是依次增大的。此处仅以举例的说明本实施例的实现方式，并不用于限定本披露。
可选地，该目标迭代间隔中迭代对应的缩放系数也可以不一致。进一步可选地，该缩放系数可以与上述的点位置同步更新，也就是说，该缩放系数对应的迭代间隔可以等于上述的点位置迭代间隔。即每当处理器更新确定点位置时，会相应地更新确定缩放系数。
可选地，该目标迭代间隔中迭代对应的偏移量也可以不一致。进一步地，该偏移量可以与上述的点位置同步更新，也就是说，该偏移量对应的迭代间隔可以等于上述的点位置迭代间隔。即每当处理器更新确定点位置时，会相应地更新确定偏移量。当然，该偏移量也可以与上述地点位置或数据位宽异步更新，此处不做具体限定。更进一步地，处理器还可以确定待量化数据所有元素中的最小值和最大值，并进一步确定点位置和缩放系数等量化参数，具体可参见上文中的描述。
在另一种实施例中，处理器可以根据点位置的变动幅度和待量化数据的数据位宽的变化，综合确定待量化数据的数据变动幅度，并根据该待量化数据的数据变动幅度确定目标迭代间隔，其中，该目标迭代间隔可以用于更新确定数据位宽，即处理器可以在每个目标迭代间隔的检验迭代处更新确定数据位宽。由于点位置可以反映定点数据的精度，数据位宽可以反映定点数据的数据表示范围，因而通过综合点位置的变动幅度和待量化数据的数据位宽变化，可以保证量化后的数据既能够兼顾精度，也能够满足数据表示范围。可选地，点位置的变化幅度可以采用上述的第一误差进行表征，数据位宽的变化可以根据上述的量化误差进行确定。具体地，如图3-16所示，上述方法可以包括：
S400、获取第一误差，第一误差能够表征点位置的变动幅度，该点位置的变动幅度可以表示待量化数据的数据变动幅度；具体地，上述第一误差的计算方式可参见上文中操作S110中的描述，此处不再赘述。
S500、获取第二误差，所述第二误差用于表征所述数据位宽的变化。
可选地，上述的第二误差可以根据量化误差进行确定，该第二误差与上述的量化误差正相关。具体地，如图3-16所示，上述操作S500可以包括：
S510、根据所述当前检验迭代中待量化数据和所述当前检验迭代的量化数据，确定量化误差，其中，所述当前检验迭代的量化数据根据初始数据位宽对所述当前检验迭代的待量化数据进行量化获得。其中，具体的量化误差确定方式可参见上文中操作S114中的描述，此处不再赘述。
S520、根据所述量化误差确定所述第二误差，所述第二误差与所述量化误差正相关。
具体地，第二误差可以按照如下公式进行计算：
diff update2＝θ*diff bit 2   公式(34)
其中，diff update2表示上述的第二误差，diff bit表示上述的量化误差，θ可以为超参数。
S600、根据所述第二误差和所述第一误差，确定所述目标迭代间隔。
具体地，处理器可以根据第一误差和第二误差计算获得目标误差，并根据目标误差确定目标迭代间隔。可选地，目标误差可以是第一误差和第二误差进行加权平均计算获得。例如，目标误差＝K*第一误差+(1-K)*第二误差，其中，K为超参数。之后，处理器可以根据该目标误差确定目标迭代间隔，目标迭代间隔与该目标误差负相关。即目标误差越大，目标迭代间隔越小。
可选地，该目标误差还可以根据第一误差和第二误差中的最值进行确定，此时第一误差或第二误差的权重取值为0。具体地，如图3-17所示，上述操作S600可以包括：
S610、将所述第一误差和所述第二误差中最大值作为目标误差。
具体地，处理器可以比较第一误差diff update1和第二误差diff update2的大小，当第一误差diff update1大于第二误差diff update2时，则该目标误差等于第一误差diff update1。当第一误差diff update1小于第二误差时，则该目标误差等于第二误差diff update2。当第一误差diff update1等于第二误差时，则该目标误差可以时第一误差diff update1或第二误差diff update2。即目标误差diff update可以按照如下公式进行确定：
diff update＝max(diff update1，diff update2)   公式(35)
其中，diff update是指目标误差，diff update1是指第一误差，diff update2是指第二误差。
S620、根据所述目标误差确定所述目标迭代间隔，其中，所述目标误差与所述目标迭代间隔负相关。具体地，目标迭代间隔可以按照如下方式进行确定，
可以根据以下公式计算得到目标迭代间隔：
Figure PCTCN2019106801-appb-000154
其中，I表示目标迭代间隔，diff update表示上述的目标误差，δ和γ可以为超参数。
可选地，上述实施例中，神经网络运算中数据位宽可变，并可以通过第二误差衡量数据位宽的变化趋势。此种情况下，如图3-17所示，处理器在确定目标迭代间隔后，可以执行操作S630，确定目标迭代间隔中迭代对应的数据位宽，其中，该目标迭代间隔中迭代对应的数据位宽一致。具体地，处理器可以根据当前检验迭代的待量化数据，确定目标迭代间隔对应的数据位宽。也就是说，神经网络运算过程中的数据位宽每隔一个目标迭代间隔更新一次。可选地，该目标迭代间隔对应的数据位宽可以为当前检验迭代的目标数据位宽。该当前检验迭代的目标数据位宽可参见上文中的操作S114和S115，此处不再赘述。
例如，该目标迭代间隔可以从当前检验迭代开始计算迭代数量，即目标迭代间隔对应的检验迭代可以是目标迭代间隔的起始迭代。例如，当前检验迭代为第100次迭代，处理器根据待量化数据的数据变动幅度，确定目标迭代间隔的迭代间隔为6，则处理器可以确定该目标迭代间隔包括6次迭代，分别为第100次迭代至第105次迭代。此时，处理器可以确定第100次迭代的目标数据位宽，且第101次迭代至第105次迭代沿用该第100次迭代的目标数据位宽，无需在第101次迭代至第105次迭代计算目标数据位宽，从而减少计算量，提高量化效率及运算效率。之后，第106次迭代可以作为当前检验迭代，并重复上述确定目标迭代间隔，以及更新数据位宽的操作。
可选地，目标迭代间隔还可以是从当前检验迭代的下一次迭代开始计算迭代数量，即该目标迭代间隔对应的检验迭代也可以是该目标迭代间隔的终止迭代。例如，当前检验迭代为第100次迭代，处理器根据待量化数据的数据变动幅度，确定目标迭代间隔的迭代间隔为6。则处理器可以确定该目标迭代间隔包括6次迭代，分别为第101次迭代至第106次迭代。此时，处理器可以确定第100次迭代的目标数据位宽，且第101次迭代至106次迭代沿用该第100次迭代的目标数据位宽，无需在第101次迭代至106次迭代计算目标数据位宽，从而减少计算量，提高量化效率及运算效率。之后，第106次迭代可以作为当前检验迭代，并重复上述确定目标迭代间隔，以及更新数据位宽的操作。
再进一步地，处理器还可以在检验迭代处确定目标迭代间隔中的量化参数，以根据目标迭代间隔调整神经网络运算中的量化参数。即该神经网络运算中的点位置等量化参数可以与数据位宽同步更新。
在一种情况下，该目标迭代间隔中迭代对应的量化参数可以是一致的。可选地，处理器可以根据当前检验迭代的待量化数据和该当前检验迭代对应的目标数据位宽，确定当前检验迭代对应的点位置，并将该当前检验迭代对应的点位置作为该目标迭代间隔对应的点 位置，其中该目标迭代间隔中迭代对应的点位置一致。也就是说，目标迭代间隔中的各次迭代均沿用当前检验迭代的点位置等量化参数，避免了每次迭代都对量化参数进行更新调整，从而减少了量化过程中的计算量，提高了量化操作的效率。
可选地，目标迭代间隔中迭代对应的缩放系数可以一致。处理器可以根据当前检验迭代的待量化数据，确定当前检验迭代对应的缩放系数，并将该当前检验迭代对应的缩放系数作为目标迭代间隔中各次迭代的缩放系数。其中，该目标迭代间隔中迭代对应的缩放系数一致。
可选地，目标迭代间隔中迭代对应的偏移量一致。处理器可以根据当前检验迭代的待量化数据，确定当前检验迭代对应的偏移量，并将该当前检验迭代对应的偏移量作为目标迭代间隔中各次迭代的偏移量。进一步地，处理器还可以确定待量化数据所有元素中的最小值和最大值，并进一步确定点位置和缩放系数等量化参数，具体可参见上文中的描述。该目标迭代间隔中迭代对应的偏移量一致。
例如，该目标迭代间隔可以从当前检验迭代开始计算迭代数量，即目标迭代间隔对应的检验迭代可以是目标迭代间隔的起始迭代。例如，当前检验迭代为第100次迭代，处理器根据待量化数据的数据变动幅度，确定目标迭代间隔的迭代间隔为3，则处理器可以确定该目标迭代间隔包括3次迭代，分别为第100次迭代、第101次迭代和第102次迭代。进而处理器可以根据第100次迭代对应的待量化数据和目标数据位宽，确定该第100次迭代对应的点位置等量化参数，并可以采用该第100次迭代对应的点位置等量化参数对第100次迭代、第101次迭代和第102次迭代进行量化。这样，处理器在第101次迭代和第102次迭代无需计算点位置等量化参数，减少了量化过程中的计算量，提高了量化操作的效率。
可选地，目标迭代间隔还可以是从当前检验迭代的下一次迭代开始计算迭代数量，即该目标迭代间隔对应的检验迭代也可以是该目标迭代间隔的终止迭代。例如，当前检验迭代为第100次迭代，处理器根据待量化数据的数据变动幅度，确定目标迭代间隔的迭代间隔为3。则处理器可以确定该目标迭代间隔包括3次迭代，分别为第101次迭代、第102次迭代和第103次迭代。进而处理器可以根据第100次迭代对应的待量化数据和目标数据位宽，确定该第100次迭代对应的点位置等量化参数，并可以采用该第100次迭代对应的点位置等量化参数对第101次迭代、第102次迭代和第103次迭代进行量化。这样，处理器在第102次迭代和第103次迭代无需计算点位置等量化参数，减少了量化过程中的计算量，提高了量化操作的效率。
本披露实施例中，同一目标迭代间隔中各次迭代对应的数据位宽及量化参数均一致，即同一目标迭代间隔中各次迭代对应的数据位宽、点位置、缩放系数及偏移量均保持不变，从而在神经网络的训练或微调过程中，可以避免频繁地调整待量化数据的量化参数，减少了量化过程中的计算量，从而可以提高量化效率。并且，通过在训练或微调的不同阶段根据数据变动幅度，动态地调整量化参数，可以保证量化精度。
在另一种情况下，处理器还可以根据点位置等量化参数对应的点位置迭代间隔确定目 标迭代间隔中的量化参数，以根据调整神经网络运算中的量化参数。即该神经网络运算中的点位置等量化参数可以与数据位宽异步更新，处理器可以在目标迭代间隔的检验迭代处更新数据位宽和点位置等量化参数，处理器还可以根据点位置迭代间隔单独更新目标迭代间隔中迭代对应的点位置。
具体地，处理器还可以根据当前检验迭代对应的目标数据位宽，确定目标迭代间隔对应的数据位宽，其中，目标迭代间隔中迭代对应的数据位宽一致。之后，处理器可以根据该目标迭代间隔对应的数据位宽和点位置迭代间隔，调整神经网络运算过程中的点位置等量化参数。即如图3-17所示，在确定目标迭代间隔对应的数据位宽之后，处理器还可以执行操作S640，根据获取的点位置迭代间隔和所述目标迭代间隔对应的数据位宽，调整所述目标迭代间隔中迭代对应的点位置，以调整所述神经网络运算中的点位置。其中，所述点位置迭代间隔包含至少一次迭代，所述点位置迭代间隔中迭代的点位置一致。可选地，该点位置迭代间隔可以是超参数，例如，该点位置迭代间隔可以是用户自定义输入的。
可选地，所述点位置迭代间隔小于或等于所述目标迭代间隔。当该点位置迭代间隔与上述的目标迭代间隔相同时，处理器可以在当前检验迭代处同步更新数据位宽和点位置等量化参数。进一步可选地，目标迭代间隔中迭代对应的缩放系数可以一致。更进一步地，目标迭代间隔中迭代对应的偏移量一致。此时，该目标迭代间隔中的迭代对应的数据位宽和点位置等量化参数均相同，从而可以降低计算量，提高量化效率和运算效率。具体实现过程与上述实施例基本一致，可参见上文的描述，此处不再赘述。
当点位置迭代间隔小于上述的目标迭代间隔时，处理器可以在目标迭代间隔对应的检验迭代处更新数据位宽和点位置等量化参数，并在该点位置迭代间隔确定的子检验迭代处更新点位置等量化参数。由于在数据位宽不变的情况下，点位置等量化参数可以根据待量化数据进行微调，因此，在同一目标迭代间隔内也可以对点位置等量化参数进行调整，以进一步提高量化精度。
具体地，处理器可以根据当前检验迭代和点位置迭代间隔确定子检验迭代，该子检验迭代用于调整点位置，该子检验迭代可以是目标迭代间隔中的迭代。进一步地，处理器可以根据子检验迭代的待量化数据和目标迭代间隔对应的数据位宽，调整目标迭代间隔中迭代对应的点位置，其中，点位置的确定方式可以参照上述的公式(2)或公式(14)，此处不再赘述。
例如，当前检验迭代为第100次迭代，该目标迭代间隔为6，该目标迭代间隔包含的迭代为第100次迭代至第105次迭代。处理器获取的点位置迭代间隔为I s1＝3，则可以从当前检验迭代开始间隔三次迭代调整一次点位置。具体地，处理器可以将第100次迭代作为上述的子检验迭代，并计算获得该第100次迭代对应的点位置s1，在第100次迭代、第101次迭代和第102次迭代共用点位置s1进行量化。之后，处理器可以根据点位置迭代间隔I s1将第103次迭代作为上述的子检验迭代，同时处理器还可以根据第103次迭代对应的待量化数据和目标迭代间隔对应的数据位宽n确定第二个点位置迭代间隔对应的点位置s2，则在第103次迭代至第105次迭代中可以共用上述的点位置s2进行量化。本披露实 施例中，上述的更新前的点位置s1与更新后的点位置s2的值可以相同，也可以不同。进一步地，处理器可以在第106次迭代重新根据待量化数据的数据变动幅度，确定下一目标迭代间隔以及该下一目标迭代间隔对应的数据位宽及点位置等量化参数。
再如，当前检验迭代为第100次迭代，该目标迭代间隔为6，该目标迭代间隔包含的迭代为第101次迭代至第106次迭代。处理器获取的点位置迭代间隔为I s1＝3，则可以从当前检验迭代开始间隔三次迭代调整一次点位置。具体地，处理器可以根据当前检验迭代的待量化数据和当前检验迭代对应的目标数据位宽n1，确定第一个点位置迭代间隔对应的点位置为s1，则在第101次迭代、第102次迭代和103次迭代共用上述的点位置s1进行量化。之后，处理器可以根据点位置迭代间隔I s1将第104次迭代作为上述的子检验迭代，同时处理器还可以根据第104次迭代对应的待量化数据和目标迭代间隔对应的数据位宽n1确定第二个点位置迭代间隔对应的点位置s2，则在第104次迭代至第106次迭代中可以共用上述的点位置s2进行量化。本披露实施例中，上述的更新前的点位置s1与更新后的点位置s2的值可以相同，也可以不同。进一步地，处理器可以在第106次迭代重新根据待量化数据的数据变动幅度，确定下一目标迭代间隔以及该下一目标迭代间隔对应的数据位宽及点位置等量化参数。
可选地，该点位置迭代间隔可以等于1，即每次迭代均更新一次点位置。可选地，该点位置迭代间隔可以相同，也可以不同。例如，该目标迭代间隔包含的至少一个点位置迭代间隔可以是依次增大的。此处仅以举例的说明本实施例的实现方式，并不用于限定本披露。
可选地，该目标迭代间隔中迭代对应的缩放系数也可以不一致。进一步可选地，该缩放系数可以与上述的点位置可以同步更新，也就是说，该缩放系数对应的迭代间隔可以等于上述的点位置迭代间隔。即每当处理器更新确定点位置时，会相应的更新确定缩放系数。
可选地，该目标迭代间隔中迭代对应的偏移量也可以不一致。进一步地，该偏移量可以与上述的点位置可以同步更新，也就是说，该偏移量对应的迭代间隔可以等于上述的点位置迭代间隔。即每当处理器更新确定点位置时，会相应地更新确定偏移量。当然，该偏移量也可以与上述地点位置或数据位宽异步更新，此处不做具体限定。更进一步地，处理器还可以确定待量化数据所有元素中的最小值和最大值，并进一步确定点位置和缩放系数等量化参数，具体可参见上文中的描述。
在其他可选的实施例中，点位置、缩放系数和偏移量三个量化参数之间也可以是异步的，即点位置迭代间隔、缩放系数迭代间隔和偏移量迭代间隔中的一个或三个均不相同。其中，点位置迭代间隔和缩放系数迭代间隔均小于或等于目标迭代间隔。偏移量迭代间隔可以小于目标迭代间隔。由于偏移量只与待量化数据的分布相关，因此，在一种可选的实施方式中，该偏移量也可以与目标迭代间隔完全异步，即偏移量迭代间隔也可以大于目标迭代间隔。
在一种可选的实施例中，上述的方法可以用于神经网络的训练或微调过程中，以实现对神经网络微调或训练过程涉及的运算数据的量化参数进行调整，以提高神经网络运算过 程中涉及的运算数据的量化精度及效率。该运算数据可以是神经元数据、权值数据或梯度数据中的至少一种。如图3-5所示，根据待量化数据的数据变动曲线可知，在训练或微调的初期阶段，各次迭代的待量化数据之间的差异性较大，待量化数据的数据变动幅度较为剧烈，此时可以目标迭代间隔的值可以较小，以及时地更新目标迭代间隔中的量化参数，保证量化精度。在训练或微调的中期阶段，待量化数据的数据变动幅度逐渐趋于平缓，此时可以增大目标迭代间隔的值，以避免频繁地更新量化参数，以提高量化效率及运算效率。在训练或微调的后期阶段，此时神经网络的训练或微调趋于稳定(即当神经网络的正向运算结果趋近于预设参考值时，该神经网络的训练或微调趋于稳定)，此时可以继续增大目标迭代间隔的值，以进一步提高量化效率及运算效率。基于上述数据变动趋势，可以在神经网络的训练或微调的不同阶段采用不同的方式确定目标迭代间隔，以在保证量化精度的基础上，提高量化效率及运算效率。
具体地，如图3-18所示，当该方法用于神经网络的训练或微调过程中时，该方法还可以包括：
S710、处理器确定当前迭代是否大于第一预设迭代；
其中，当前迭代是指处理器当前执行的迭代运算。可选地，该第一预设迭代可以是超参数，该第一预设迭代可以是根据待量化数据的数据变动曲线确定的，该第一预设迭代也可以是用户自定义设置的。可选地，该第一预设迭代可以小于一个训练周期(epoch)包含的迭代总数，其中，一个训练周期是指数据集中的所有待量化数据均完成一次正向运算和一次反向运算。
在所述当前迭代小于或等于所述第一预设迭代时，则处理器可以执行操作S711，将第一预设迭代间隔作为所述目标迭代间隔，并根据所述第一预设迭代间隔调整量化参数。
可选地，处理器可以读取用户输入的第一预设迭代，并根据该第一预设迭代与第一预设迭代间隔的对应关系，确定第一预设迭代间隔。可选地，该第一预设迭代间隔可以是超参数，该第一预设迭代间隔也可以是用户自定义设置的。此时，处理器可以直接读取用户输入的第一预设迭代和第一预设迭代间隔，并根据该第一预设迭代间隔更新神经网络运算中的量化参数。本披露实施例中，处理器无需根据待量化数据的数据变动幅度，确定目标迭代间隔。
例如，用户输入的第一预设迭代为第100次迭代，第一预设迭代间隔为5，则在当前迭代小于或等于第100次迭代时，可以根据第一预设迭代间隔更新量化参数。即处理器可以确定在神经网络的训练或微调的第1次迭代至第100次迭代，每间隔5次迭代更新一次量化参数。具体地，处理器可以确定第1次迭代对应的数据位宽n1及点位置s1等量化参数，并采用该数据位宽n1和点位置s1等量化参数对第1次迭代至第5次迭代的待量化数据进行量化，即第1次迭代至第5次迭代可以采用相同的量化参数。之后，处理器可以确定第6次迭代对应的数据位宽n2及点位置s2等量化参数，并采用该数据位宽n2和点位置s2等量化参数对第6次迭代至第10次迭代的待量化数据进行量化，即第6次迭代至第10次迭代可以采用相同的量化参数。同理，处理器可以按照上述量化方式直至完成第100 次迭代。其中，每个迭代间隔中数据位宽及点位置等量化参数的确定方式可以参见上文的描述，此处不再赘述。
再如，用户输入的第一预设迭代为第100次迭代，第一预设迭代间隔为1，则在当前迭代小于或等于第100次迭代时，可以根据第一预设迭代间隔更新量化参数。即处理器可以确定在神经网络的训练或微调的第1次迭代至第100次迭代，每次迭代均更新量化参数。具体地，处理器可以确定第1次迭代对应的数据位宽n1及点位置s1等量化参数，并采用该数据位宽n1和点位置s1等量化参数对第1次迭代的待量化数据进行量化。之后，处理器可以确定第2次迭代对应的数据位宽n2及点位置s2等量化参数，并采用该数据位宽n2和点位置s2等量化参数对第2次迭代的待量化数据进行量化，……。同理，处理器可以确定出第100次迭代的数据位宽n100以及点位置s100等量化参数，并采用该数据位宽n100和点位置s100等量化参数对第100次迭代的待量化数据进行量化。其中，每个迭代间隔中数据位宽及点位置等量化参数的确定方式可以参见上文的描述，此处不再赘述。
上文仅以数据位宽和量化参数同步更新的方式举例说明，在其他可选的实施例中，在每个目标迭代间隔中，处理器还可以根据点位置的变动幅度确定点位置的迭代间隔，并根据该点位置迭代间隔更新点位置等量化参数。
可选地，在当前迭代大于第一预设迭代时，可以表明神经网络的训练或微调处于中期阶段，此时可以获得历史迭代的待量化数据的数据变动幅度，并根据该待量化数据的数据变动幅度确定目标迭代间隔，该目标迭代间隔可以大于上述的第一预设迭代间隔，从而可以减少量化参数的更新次数，提高量化效率及运算效率。具体地，在所述当前迭代大于第一预设迭代时，则处理器可以执行操作S713，根据所述待量化数据的数据变动幅度确定目标迭代间隔，并根据所述目标迭代间隔调整量化参数。
承接上例，用户输入的第一预设迭代为第100次迭代，第一预设迭代间隔为1，则在当前迭代小于或等于第100次迭代时，可以根据第一预设迭代间隔更新量化参数。即处理器可以确定在神经网络的训练或微调的第1次迭代至第100次迭代，每次迭代均更新量化参数，具体实现方式可以参见上文中的描述。在当前迭代大于第100次迭代时，处理器可以根据当前迭代的待量化数据及其之前的历史迭代的待量化数据，确定待量化数据的数据变动幅度，并根据该待量化数据的数据变动幅度确定目标迭代间隔。具体地，在当前迭代大于第100次迭代时，处理器可以自适应地调整当前迭代对应的数据位宽，获得该当前迭代对应的目标数据位宽，并将该当前迭代对应的目标数据位宽作为目标迭代间隔的数据位宽，其中，目标迭代间隔中迭代对应的数据位宽一致。同时，处理器可以根据当前迭代对应的目标数据位宽和待量化数据，确定当前迭代对应的点位置，并根据当前迭代对应的点位置确定第一误差。处理器还可以根据当前迭代对应的待量化数据，确定量化误差，并根据量化误差确定第二误差。之后，处理器可以根据第一误差和第二误差确定目标迭代间隔，该目标迭代间隔可以大于上述的第一预设迭代间隔。进一步地，处理器可以确定目标迭代间隔中的点位置或缩放系数等量化参数，具体确定方式可参见上文中的描述。
例如，当前迭代为第100次迭代，处理器根据待量化数据的数据变动幅度，确定目标 迭代间隔的迭代间隔为3，则处理器可以确定该目标迭代间隔包括3次迭代，分别为第100次迭代、第101次迭代和第102次迭代。处理器还可以根据第100次迭代的待量化数据确定量化误差，并根据量化误差确定第二误差和第100次迭代对应的目标数据位宽，将该目标数据位宽作为目标迭代间隔对应的数据位宽，其中，第100次迭代、第101次迭代和第102次迭代对应的数据位宽均为该第100次迭代对应的目标数据位宽。处理器还可以根据该第100次迭代的待量化数据和该第100次迭代对应的目标数据位宽确定该第100次迭代对应的点位置和缩放系数等量化参数。之后，采用该第100次迭代对应的量化参数对第100次迭代、第101次迭代和第102次迭代进行量化。
进一步地，如图3-19所示，上述方法还可以包括：
在当前迭代大于第一预设迭代时，处理器还可以执行操作S712，即处理器可以进一步确定当前迭代是否大于第二预设迭代。其中，所述第二预设迭代大于所述第一预设迭代，所述第二预设迭代间隔大于所述第一预设迭代间隔。可选地，上述第二预设迭代可以是超参数，第二预设迭代可以大于至少一个训练周期的迭代总数。可选地，第二预设迭代可以根据待量化数据的数据变动曲线确定。可选地，第二预设迭代也可以是用户自定义设置的。
在所述当前迭代大于或等于第二预设迭代时，则处理器可以执行操作S714，将第二预设迭代间隔作为所述目标迭代间隔，并根据所述第二预设迭代间隔调整所述神经网络量化过程中的参数。在当前迭代大于第一预设迭代，且当前迭代小于第二预设迭代时，则处理器可以执行上述的操作S713，根据所述待量化数据的数据变动幅度确定目标迭代间隔，并根据所述目标迭代间隔调整量化参数。
可选地，处理器可以读取用户设置的第二预设迭代，并根据第二预设迭代与第二预设迭代间隔的对应关系，确定第二预设迭代间隔，该第二预设迭代间隔大于第一预设迭代间隔。可选地，当所述神经网络的收敛程度满足预设条件时，则确定所述当前迭代大于或等于第二预设迭代。例如，在当前迭代的正向运算结果趋近于预设参考值时，可以确定该神经网络的收敛程度满足预设条件，此时可以确定当前迭代大于或等于第二预设迭代。或者，在当前迭代对应的损失值小于或等于预设阈值时，则可以确定该神经网络的收敛程度满足预设条件。
可选地，上述的第二预设迭代间隔可以是超参数，该第二预设迭代间隔可以大于或等于至少一个训练周期的迭代总数。可选地，该第二预设迭代间隔可以是用户自定义设置的。处理器可以直接读取用户输入的第二预设迭代和第二预设迭代间隔，并根据该第二预设迭代间隔更新神经网络运算中的量化参数。例如，该第二预设迭代间隔可以等于一个训练周期的迭代总数，即每个训练周期(epoch)更新一次量化参数。
再进一步地，上述方法还包括：
当所述当前迭代大于或等于第二预设迭代，处理器还可以在每次检验迭代处确定当前数据位宽是否需要调整。如果当前数据位宽需要调整，则处理器可以从上述的操作S714切换至操作S713，以重新确定数据位宽，使得数据位宽能够满足待量化数据的需求。
具体地，处理器可以根据上述的第二误差确定数据位宽是否需要调整。处理器还可以 执行上述操作S715，确定第二误差是否大于预设误差值，当所述当前迭代大于或等于第二预设迭代且所述第二误差大于预设误差值时，则切换执行操作S713，根据所述待量化数据的数据变动幅度确定迭代间隔，以根据所述迭代间隔重新确定所述数据位宽。若当前迭代大于或等于第二预设迭代，且第二误差小于或等于预设误差值，则继续执行操作S714，将第二预设迭代间隔作为所述目标迭代间隔，并根据所述第二预设迭代间隔调整所述神经网络量化过程中的参数。其中，预设误差值可以是根据量化误差对应的预设阈值确定的，当第二误差大于预设误差值时，此时说明数据位宽可能需要进一步调整，处理器可以根据所述待量化数据的数据变动幅度确定迭代间隔，以根据所述迭代间隔重新确定所述数据位宽。
例如，第二预设迭代间隔为一个训练周期的迭代总数。在当前迭代大于或等于第二预设迭代时，处理器可以按照第二预设迭代间隔更新量化参数，即每个训练周期(epoch)更新一次量化参数。此时，每个训练周期的起始迭代作为一个检验迭代，在每个训练周期的起始迭代处，处理器可以根据该检验迭代的待量化数据确定量化误差，根据量化误差确定第二误差，并根据如下公式确定第二误差是否大于预设误差值：
diff update2＝θ*diff bit 2>T
其中，diff update2表示第二误差，diff bit表示量化误差，θ表示超参数，T表示预设误差值。可选地，该预设误差值可以等于第一预设阈值除以超参数。当然，该预设误差值也可以是超参数。例如，该预设误差值可以按照如下公式计算获得：T＝th/10，其中，th表示第一预设阈值，超参数的取值为10。
若第二误差diff update2大于预设误差值T，则说明数据位宽可能不能满足预设要求，此时，可以不再采用第二预设迭代间隔更新量化参数，处理器可以按照待量化数据的数据变动幅度确定目标迭代间隔，以保证数据位宽满足预设要求。即在第二误差diff update2大于预设误差值T时，处理器从上述的操作S714切换至上述的操作S713。
当然，在其他实施例中，处理器可以根据上述的量化误差，确定数据位宽是否需要调整。例如，第二预设迭代间隔为一个训练周期的迭代总数。在当前迭代大于或等于第二预设迭代时，处理器可以按照第二预设迭代间隔更新量化参数，即每个训练周期(epoch)更新一次量化参数。其中，每个训练周期的起始迭代作为一个检验迭代。在每个训练周期的起始迭代处，处理器可以根据该检验迭代的待量化数据确定量化误差，并在该量化误差大于或等于第一预设阈值时，则说明数据位宽可能不能满足预设要求，即处理器从上述的操作S714切换至上述的操作S713。
在一个可选的实施例中，上述的点位置、缩放系数和偏移量等量化参数可以通过显示装置进行显示。此时，用户可以通过显示装置获知神经网络运算过程中的量化参数，用户还可以自适应修改处理器确定的量化参数。同理，上述的数据位宽和目标迭代间隔等也可以通过显示装置进行显示。此时，用户可以通过显示装置获知神经网络运算过程中的目标迭代间隔和数据位宽等参数，用户还可以自适应修改处理器确定的目标迭代间隔和数据位宽等参数。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本披露并不受所描述的动作顺序的限制，因为依据本披露，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于可选实施例，所涉及的动作和模块并不一定是本披露所必须的。
本披露一实施例还提供了一种神经网络的量化参数调整装置200，该量化参数调整装置200可以设置于一处理器中。例如，该量化参数调整装置200可以置于通用处理器中，再如，该量化参数调整装置也可以置于一人工智能处理器中。如图3-20所示，所述装置200包括：
获取模块210，用于获取待量化数据的数据变动幅度；
迭代间隔确定模块220，用于根据所述待量化数据的数据变动幅度，确定目标迭代间隔，以根据所述目标迭代间隔调整所述神经网络运算中的量化参数，其中，所述目标迭代间隔包括至少一次迭代，所述神经网络的量化参数用于实现对所述神经网络运算中待量化数据的量化操作。
可选地，所述量化参数包括点位置，所述点位置为所述待量化数据对应的量化数据中小数点的位置。如图3-21所示，所述装置还包括：
量化参数确定模块230，用于根据当前检验迭代对应的目标数据位宽和所述当前检验迭代的待量化数据，确定所述目标迭代间隔中迭代对应的点位置，以调整所述神经网络运算中的点位置；
其中，所述目标迭代间隔中迭代对应的点位置一致。
可选地，所述量化参数包括点位置，所述点位置为所述待量化数据对应的量化数据中小数点的位置；如图3-23或图3-24所示，所述装置还包括：
数据位宽确定模块240，用于根据所述当前检验迭代对应的目标数据位宽，确定所述目标迭代间隔对应的数据位宽，其中，所述目标迭代间隔中迭代对应的数据位宽一致；
量化参数确定模块230，用于根据获取的点位置迭代间隔和所述目标迭代间隔对应的数据位宽，调整所述目标迭代间隔中迭代对应的点位置，以调整所述神经网络运算中的点位置；
其中，所述点位置迭代间隔包含至少一次迭代，所述点位置迭代间隔中迭代的点位置一致。
可选地，所述点位置迭代间隔小于或等于所述目标迭代间隔。
可选地，所述量化参数还包括缩放系数，所述缩放系数与所述点位置同步更新。
可选地，所述量化参数还包括偏移量，所述偏移量与所述点位置同步更新。
可选地，如图3-24所示，所述数据位宽确定模块240包括：
量化误差确定单元241，用于根据所述当前检验迭代的待量化数据和所述当前检验迭代的量化数据，确定量化误差，其中，所述当前检验迭代的量化数据是对所述当前检验迭代的待量化数据进行量化获得的；
数据位宽确定单元242，用于根据所述量化误差，确定所述当前检验迭代对应的目标数据位宽。
可选地，所述数据位宽确定单元242用于根据所述量化误差，确定所述当前检验迭代对应的目标数据位宽时，具体用于：
若所述量化误差大于或等于第一预设阈值，则增加所述当前检验迭代对应的数据位宽，获得所述当前检验迭代对应的目标数据位宽；或者，
若所述量化误差小于或等于第二预设阈值，则减小所述当前检验迭代对应的数据位宽，获得所述当前检验迭代对应的目标数据位宽。
可选地，所述数据位宽确定单元242用于在若所述量化误差大于或等于第一预设阈值，则增加所述当前检验迭代对应的数据位宽，获得所述当前检验迭代对应的目标数据位宽时，具体用于：
若所述量化误差大于或等于第一预设阈值，则根据第一预设位宽步长确定第一中间数据位宽；
返回根据所述当前检验迭代中待量化数据和所述当前检验迭代的量化数据，确定量化误差，直至所述量化误差小于所述第一预设阈值；其中，所述当前检验迭代的量化数据是根据所述第一中间数据位宽对所述当前检验迭代的待量化数据进行量化获得。
可选地，所述数据位宽确定单元242用于在若所述量化误差小于或等于第二预设阈值，则减小所述当前检验迭代对应的数据位宽，获得所述当前检验迭代对应的目标数据位宽时，具体用于：
若所述量化误差小于或等于第二预设阈值，则根据第二预设位宽步长确定第二中间数据位宽；
返回根据所述当前检验迭代中待量化数据和所述当前检验迭代的量化数据，确定量化误差，直至所述量化误差大于所述第二预设阈值；其中，所述当前检验迭代的量化数据是根据所述第二中间数据位宽对所述当前检验迭代的待量化数据进行量化获得。
可选地，所述获取模块210包括：
第一获取模块211，用于获取点位置的变动幅度；其中，所述点位置的变动幅度能够用于表征所述待量化数据的数据变动幅度，所述点位置的变动幅度与所述待量化数据的数据变动幅度正相关。
可选地，如图3-23或图3-24所示，所述第一获取模块211包括：
第一均值确定单元2110，用于根据当前检验迭代之前的上一检验迭代对应的点位置，以及所述上一检验迭代之前的历史迭代对应的点位置，确定第一均值，其中，所述上一检验迭代为所述目标迭代间隔之前的上一迭代间隔对应的检验迭代；
第二均值确定单元2111，用于根据所述当前检验迭代对应的点位置及所述当前检验迭代之前的历史迭代的点位置，确定第二均值；其中，所述当前检验迭代对应的点位置根据所述当前检验迭代对应的目标数据位宽和待量化数据确定；
第一误差确定单元2112，用于根据所述第一均值和所述第二均值确定第一误差，所 述第一误差用于表征所述点位置的变动幅度。
可选地，所述第二均值确定单元2111具体用于：
获取预设数量的中间滑动平均值，其中，各个所述中间滑动平均值是根据所述当前检验迭代之前所述预设数量的检验迭代确定的；
根据所述当前检验迭代的点位置以及所述预设数量的中间滑动平均值，确定所述第二均值。
可选地，所述第二均值确定单元2111具体用于根据所述当前检验迭代对应的点位置以及所述第一均值，确定所述第二均值。
可选地，所述第二均值确定单元2111还用于根据获取的所述当前检验迭代的数据位宽调整值，更新所述第二均值；
其中，所述当前检验迭代的数据位宽调整值根据所述当前检验迭代的目标数据位宽和初始数据位宽确定。
可选地，所述第二均值确定单元2111用于根据获取的所述当前检验迭代的数据位宽调整值，更新所述第二均值时，具体用于：
当所述当前检验迭代的数据位宽调整值大于预设参数时，则根据所述当前检验迭代的数据位宽调整值减小所述第二均值；
当所述当前检验迭代的数据位宽调整值小于预设参数时，则根据所述当前检验迭代的数据位宽调整值增大所述第二均值。
可选地，所述迭代间隔确定模块220用于根据所述第一误差确定所述目标迭代间隔，所述目标迭代间隔与所述第一误差负相关。
可选地，所述获取模块210还包括：
第二获取模块212，用于获取数据位宽的变化趋势；根据所述点位置的变动幅度和所述数据位宽的变化趋势，确定所述待量化数据的数据变动幅度。
可选地，所述迭代间隔确定模块220用于根据获取的第一误差和第二误差，确定所述目标迭代间隔；其中，所述第一误差用于表征点位置的变动幅度，所述第二误差用于表征数据位宽的变化趋势。
可选地，所述根迭代间隔确定模块220用于根据获取的第一误差和第二误差，确定所述目标迭代间隔时，具体用于：
将所述第一误差和所述第二误差中最大值作为目标误差；
根据所述目标误差确定所述目标迭代间隔，其中，所述目标误差与所述目标迭代间隔负相关。
可选地，所述第二误差根据量化误差确定；其中，所述量化误差根据所述当前检验迭代中待量化数据和所述当前检验迭代的量化数据确定，所述第二误差与所述量化误差正相关。
可选地，所述装置用于实现神经网络的训练或微调；所述迭代间隔确定模块220还用于：
当所述当前迭代大于第一预设迭代时，则根据所述待量化数据的数据变动幅度确定目标迭代间隔，并根据所述目标迭代间隔调整所述量化参数。
可选地，所述迭代间隔确定模块220还用于：当所述当前迭代小于或等于所述第一预设迭代时，则将第一预设迭代间隔作为所述目标迭代间隔，并根据所述第一预设迭代间隔调整所述量化参数。
可选地，所述迭代间隔确定模块220还用于：
当所述当前迭代大于或等于第二预设迭代时，则将第二预设迭代间隔作为所述目标迭代间隔，并根据所述第二预设迭代间隔调整所述量化参数；
其中，当所述神经网络的收敛程度满足预设条件时，则确定所述当前检验迭代大于或等于第二预设迭代；
所述第二预设迭代大于所述第一预设迭代，所述第二预设迭代间隔大于所述第一预设迭代间隔。
可选地，所述迭代间隔确定模块220还用于：当所述当前迭代大于或等于第二预设迭代，且第二误差大于预设误差值时，则根据所述待量化数据的数据变动幅度确定迭代间隔，以根据所述迭代间隔重新确定所述数据位宽。
应当清楚的是，本披露实施例各个模块或单元的工作原理与上述方法中各个操作的实现过程基本一致，具体可参见上文的描述，此处不再赘述。应该理解，上述的装置实施例仅是示意性的，本披露的装置还可通过其它的方式实现。例如，上述实施例中所述单元/模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。例如，多个单元、模块或组件可以结合，或者可以集成到另一个系统，或一些特征可以忽略或不执行。上述集成的单元/模块既可以采用硬件的形式实现，也可以采用软件程序模块的形式实现。所述集成的单元/模块如果以硬件的形式实现时，该硬件可以是数字电路，模拟电路等等。硬件结构的物理实现包括但不局限于晶体管，忆阻器等等。
所述集成的单元/模块如果以软件程序模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储器中。基于这样的理解，本披露的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本披露各个实施例所述方法的全部或部分步骤。而前述的存储器包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
在一个实施例中，本披露还提供了一种计算机可读存储介质，该存储介质中存储有计算机程序，该计算机程序被处理器或装置执行时，实现如上述任一实施例中的方法。具体地，该计算机程序被处理器或装置执行时，实现如下方法：
获取待量化数据的数据变动幅度；
根据所述待量化数据的数据变动幅度，确定目标迭代间隔，以根据所述目标迭代间隔 调整所述神经网络运算中的量化参数，其中，所述目标迭代间隔包括至少一次迭代，所述神经网络的量化参数用于实现对所述神经网络运算中待量化数据的量化操作。
应当清楚的是，本披露实施例各个操作的实现与上述方法中各个操作的实现过程基本一致，具体可参见上文的描述，此处不再赘述。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。上述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
在一种可能的实现方式中，还公开了一种人工智能芯片，其包括了上述量化参数调整装置。
在一种可能的实现方式中，还公开了一种板卡，其包括存储器件、接口装置和控制器件以及上述人工智能芯片；其中，所述人工智能芯片与所述存储器件、所述控制器件以及所述接口装置分别连接；所述存储器件，用于存储数据；所述接口装置，用于实现所述人工智能芯片与外部设备之间的数据传输；所述控制器件，用于对所述人工智能芯片的状态进行监控。
图3-25示出根据本披露实施例的板卡的结构框图，参阅图3-25，上述板卡除了包括上述芯片389以外，还可以包括其他的配套部件，该配套部件包括但不限于：存储器件390、接口装置391和控制器件392；
所述存储器件390与所述人工智能芯片通过总线连接，用于存储数据。所述存储器件可以包括多组存储单元393。每一组所述存储单元与所述人工智能芯片通过总线连接。可以理解，每一组所述存储单元可以是DDR SDRAM(英文：Double Data Rate SDRAM，双倍速率同步动态随机存储器)。
DDR不需要提高时钟频率就能加倍提高SDRAM的速度。DDR允许在时钟脉冲的上升沿和下降沿读出数据。DDR的速度是标准SDRAM的两倍。在一个实施例中，所述存储装置可以包括4组所述存储单元。每一组所述存储单元可以包括多个DDR4颗粒(芯片)。在一个实施例中，所述人工智能芯片内部可以包括4个72位DDR4控制器，上述72位DDR4控制器中64bit用于传输数据，8bit用于ECC校验。可以理解，当每一组所述存储单元中采用DDR4-3200颗粒时，数据传输的理论带宽可达到25600MB/s。
在一个实施例中，每一组所述存储单元包括多个并联设置的双倍速率同步动态随机存储器。DDR在一个时钟周期内可以传输两次数据。在所述芯片中设置控制DDR的控制器，用于对每个所述存储单元的数据传输与数据存储的控制。
所述接口装置与所述人工智能芯片电连接。所述接口装置用于实现所述人工智能芯片与外部设备(例如服务器或计算机)之间的数据传输。例如在一个实施例中，所述接口装置可以为标准PCIE接口。比如，待处理的数据由服务器通过标准PCIE接口传递至所述芯片，实现数据转移。优选的，当采用PCIE 3.0 X 16接口传输时，理论带宽可达到16000MB/s。在另一个实施例中，所述接口装置还可以是其他的接口，本披露并不限制上 述其他的接口的具体表现形式，所述接口单元能够实现转接功能即可。另外，所述人工智能芯片的计算结果仍由所述接口装置传送回外部设备(例如服务器)。
所述控制器件与所述人工智能芯片电连接。所述控制器件用于对所述人工智能芯片的状态进行监控。具体的，所述人工智能芯片与所述控制器件可以通过SPI接口电连接。所述控制器件可以包括单片机(Micro Controller Unit，MCU)。如所述人工智能芯片可以包括多个处理芯片、多个处理核或多个处理电路，可以带动多个负载。因此，所述人工智能芯片可以处于多负载和轻负载等不同的工作状态。通过所述控制装置可以实现对所述人工智能芯片中多个处理芯片、多个处理和/或多个处理电路的工作状态的调控。
在一种可能的实现方式中，公开了一种电子设备，其包括了上述人工智能芯片。电子设备包括数据处理装置、机器人、电脑、打印机、扫描仪、平板电脑、智能终端、手机、行车记录仪、导航仪、传感器、摄像头、服务器、云端服务器、相机、摄像机、投影仪、手表、耳机、移动存储、可穿戴设备、交通工具、家用电器、和/或医疗设备。
所述交通工具包括飞机、轮船和/或车辆；所述家用电器包括电视、空调、微波炉、冰箱、电饭煲、加湿器、洗衣机、电灯、燃气灶、油烟机；所述医疗设备包括核磁共振仪、B超仪和/或心电图仪。
依照以下条款可以更好地理解本披露的内容：
C1、一种神经网络的量化参数调整方法，所述方法包括：
获取待量化数据的数据变动幅度；
根据所述待量化数据的数据变动幅度，确定目标迭代间隔，以根据所述目标迭代间隔调整所述神经网络运算中的量化参数，其中，所述目标迭代间隔包括至少一次迭代，所述神经网络的量化参数用于实现对所述神经网络运算中待量化数据的量化操作。
C2、根据条款C1所述的方法，所述量化参数包括点位置，所述点位置为所述待量化数据对应的量化数据中小数点的位置；所述方法还包括：
根据当前检验迭代对应的目标数据位宽和所述当前检验迭代的待量化数据，确定所述目标迭代间隔中迭代对应的点位置，以调整所述神经网络运算中的点位置；
其中，所述目标迭代间隔中迭代对应的点位置一致。
C3、根据条款C1所述的方法，其特征在于，所述量化参数包括点位置，所述点位置为所述待量化数据对应的量化数据中小数点的位置；所述方法还包括：
根据所述当前检验迭代对应的目标数据位宽，确定所述目标迭代间隔对应的数据位宽，其中，所述目标迭代间隔中迭代对应的数据位宽一致；
根据获取的点位置迭代间隔和所述目标迭代间隔对应的数据位宽，调整所述目标迭代间隔中迭代对应的点位置，以调整所述神经网络运算中的点位置；
其中，所述点位置迭代间隔包含至少一次迭代，所述点位置迭代间隔中迭代的点位置一致。
C4、根据条款C2或C3所述的方法，所述点位置迭代间隔小于或等于所述目标迭代间隔。
C5、根据条款C1-C4任一项所述的方法，所述量化参数还包括缩放系数，所述缩放系数与所述点位置同步更新。
C6、根据条款C1-C5任一项所述的方法，所述量化参数还包括偏移量，所述偏移量与所述点位置同步更新。
C7、根据条款C1-C6任一项所述的方法，所述方法还包括：
根据所述当前检验迭代的待量化数据和所述当前检验迭代的量化数据，确定量化误差，其中，所述当前检验迭代的量化数据对所述当前检验迭代的待量化数据进行量化获得；
根据所述量化误差，确定所述当前检验迭代对应的目标数据位宽。
C8、根据条款C1-C7所述的方法，所述根据所述量化误差，确定所述当前检验迭代对应的目标数据位宽，包括：
若所述量化误差大于或等于第一预设阈值，则增加所述当前检验迭代对应的数据位宽，获得所述当前检验迭代对应的目标数据位宽；或者，
若所述量化误差小于或等于第二预设阈值，则减小所述当前检验迭代对应的数据位宽，获得所述当前检验迭代对应的目标数据位宽。
C9、根据条款C8所述的方法，若所述量化误差大于或等于第一预设阈值，则增加所述当前检验迭代对应的数据位宽，获得所述当前检验迭代对应的目标数据位宽，包括：
若所述量化误差大于或等于第一预设阈值，则根据第一预设位宽步长确定第一中间数据位宽；
返回根据所述当前检验迭代中待量化数据和所述当前检验迭代的量化数据，确定量化误差，直至所述量化误差小于所述第一预设阈值；其中，所述当前检验迭代的量化数据是根据所述第一中间数据位宽对所述当前检验迭代的待量化数据进行量化获得。
C10、根据条款C8所述的方法，所述若所述量化误差小于或等于第二预设阈值，则减小所述当前检验迭代对应的数据位宽，包括：
若所述量化误差小于或等于第二预设阈值，则根据第二预设位宽步长确定第二中间数据位宽；
返回根据所述当前检验迭代中待量化数据和所述当前检验迭代的量化数据，确定量化误差，直至所述量化误差大于所述第二预设阈值；其中，所述当前检验迭代的量化数据是根据所述第二中间数据位宽对所述当前检验迭代的待量化数据进行量化获得。
C11、根据条款C1-C10任一项所述的方法，所述获取待量化数据的数据变动幅度，包括：
获取点位置的变动幅度；其中，所述点位置的变动幅度能够用于表征所述待量化数据的数据变动幅度，所述点位置的变动幅度与所述待量化数据的数据变动幅度正相关。
C12、根据条款C1-C11所述的方法，所述获取点位置的变动幅度，包括：
根据当前检验迭代之前的上一检验迭代对应的点位置，以及所述上一检验迭代之前的历史迭代对应的点位置，确定第一均值，其中，所述上一检验迭代为所述目标迭代间隔之前的上一迭代间隔对应的检验迭代；
根据所述当前检验迭代对应的点位置及所述当前检验迭代之前的历史迭代的点位置，确定第二均值；其中，所述当前检验迭代对应的点位置根据所述当前检验迭代对应的目标数据位宽和待量化数据确定；
根据所述第一均值和所述第二均值确定第一误差，所述第一误差用于表征所述点位置的变动幅度。
C13、根据条款C12所述的方法，所述根据当前检验迭代对应的点位置及所述当前检验迭代之前的历史迭代的点位置，确定第二均值，包括：
获取预设数量的中间滑动平均值，其中，各个所述中间滑动平均值是根据所述当前检验迭代之前所述预设数量的检验迭代确定的；
根据所述当前检验迭代的点位置以及所述预设数量的中间滑动平均值，确定所述第二均值。
C14、根据条款C12所述的方法，所述根据所述当前检验迭代对应的点位置及所述当前检验迭代之前的历史迭代的点位置，确定第二均值，包括：
根据所述当前检验迭代对应的点位置以及所述第一均值，确定所述第二均值。
C15、根据条款C12所述的方法，所述方法还包括：
根据获取的所述当前检验迭代的数据位宽调整值，更新所述第二均值；其中，所述当前检验迭代的数据位宽调整值根据所述当前检验迭代的目标数据位宽和初始数据位宽确定。
C16、根据条款C15所述的方法，所述根据获取的所述当前检验迭代的数据位宽调整值，更新所述第二均值，包括：
当所述当前检验迭代的数据位宽调整值大于预设参数时，则根据所述当前检验迭代的数据位宽调整值减小所述第二均值；
当所述当前检验迭代的数据位宽调整值小于预设参数时，则根据所述当前检验迭代的数据位宽调整值增大所述第二均值。
C17、根据条款C12所述的方法，所述根据所述待量化数据的数据变动幅度，确定目标迭代间隔，包括：
根据所述第一误差确定所述目标迭代间隔，所述目标迭代间隔与所述第一误差负相关。
C18、根据条款C11-C17任一项所述的方法，所述获取待量化数据的数据变动幅度，还包括：
获取数据位宽的变化趋势；
根据所述点位置的变动幅度和所述数据位宽的变化趋势，确定所述待量化数据的数据变动幅度。
C19、根据条款C18所述的方法，根据所述待量化数据的数据变动幅度，确定目标迭代间隔，还包括：
根据获取的第一误差和第二误差，确定所述目标迭代间隔；其中，所述第一误差用于表征点位置的变动幅度，所述第二误差用于表征数据位宽的变化趋势。
C20、根据条款C19所述的方法，所述根据获取的所述第二误差和所述第一误差，确定所述目标迭代间隔，包括：
将所述第一误差和所述第二误差中最大值作为目标误差；
根据所述目标误差确定所述目标迭代间隔，其中，所述目标误差与所述目标迭代间隔负相关。
C21、根据条款C19或C20所述的方法，所述第二误差根据量化误差确定；
其中，所述量化误差根据所述当前检验迭代中待量化数据和所述当前检验迭代的量化数据确定，所述第二误差与所述量化误差正相关。
C22、根据条款C1-C21任一项所述的方法，所述方法用于神经网络的训练或微调，所述方法还包括：
当所述当前迭代大于第一预设迭代时，则根据所述待量化数据的数据变动幅度确定目标迭代间隔，并根据所述目标迭代间隔调整所述量化参数。
C23、根据条款C22所述的方法，所述方法还包括：
当所述当前迭代小于或等于所述第一预设迭代时，则将第一预设迭代间隔作为所述目标迭代间隔，并根据所述第一预设迭代间隔调整所述量化参数。
C24、根据条款C22或C23所述的方法，所述方法还包括：
当所述当前迭代大于或等于第二预设迭代时，则将第二预设迭代间隔作为所述目标迭代间隔，并根据所述第二预设迭代间隔调整所述量化参数；
其中，所述第二预设迭代大于所述第一预设迭代，所述第二预设迭代间隔大于所述第一预设迭代间隔。
C25、根据条款C24所述的方法，所述方法还包括：
当所述神经网络的收敛程度满足预设条件时，则确定所述当前检验迭代大于或等于第二预设迭代。
C26、根据条款C24所述的方法，所述方法还包括：
当所述当前迭代大于或等于第二预设迭代，且第二误差大于预设误差值时，则根据所述待量化数据的数据变动幅度确定迭代间隔，以根据所述迭代间隔重新确定所述数据位宽。
C27、根据条款C1-C26任一项所述的方法，所述待量化数据为神经元数据、权值数据或梯度数据中的至少一种。
C28、一种神经网络的量化参数调整装置，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时，实现如条款C1-C27任一项所述的方法的步骤。
C29、一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，所述计算机程序被执行时，实现如条款C1-C27任一项所述的方法的步骤。
C30、一种神经网络的量化参数调整装置，所述装置包括：
获取模块，用于获取待量化数据的数据变动幅度；
迭代间隔确定模块，用于根据所述待量化数据的数据变动幅度，确定目标迭代间隔， 以根据所述目标迭代间隔调整所述神经网络运算中的量化参数，其中，所述目标迭代间隔包括至少一次迭代，所述神经网络的量化参数用于实现对所述神经网络运算中待量化数据的量化操作。
C31、根据条款C30所述的装置，所述量化参数包括点位置，所述点位置为所述待量化数据对应的量化数据中小数点的位置；所述装置还包括：
量化参数确定模块，用于根据当前检验迭代对应的目标数据位宽和所述当前检验迭代的待量化数据，确定所述目标迭代间隔中迭代对应的点位置，以调整所述神经网络运算中的点位置；
其中，所述目标迭代间隔中迭代对应的点位置一致。
C32、根据条款C30所述的装置，所述量化参数包括点位置，所述点位置为所述待量化数据对应的量化数据中小数点的位置；所述装置还包括：
数据位宽确定模块，用于根据所述当前检验迭代对应的目标数据位宽，确定所述目标迭代间隔对应的数据位宽，其中，所述目标迭代间隔中迭代对应的数据位宽一致；
量化参数确定模块，用于根据获取的点位置迭代间隔和所述目标迭代间隔对应的数据位宽，调整所述目标迭代间隔中迭代对应的点位置，以调整所述神经网络运算中的点位置；
其中，所述点位置迭代间隔包含至少一次迭代，所述点位置迭代间隔中迭代的点位置一致。
C33、根据条款C32所述的装置，所述点位置迭代间隔小于或等于所述目标迭代间隔。
C34、根据条款C31-C33任一项所述的装置，所述量化参数还包括缩放系数，所述缩放系数与所述点位置同步更新。
C35、根据条款C31-C33任一项所述的装置，所述量化参数还包括偏移量，所述偏移量与所述点位置同步更新。
C36、根据条款C31-C 33任一项所述的装置，所述数据位宽确定模块包括：
量化误差确定单元，用于根据所述当前检验迭代的待量化数据和所述当前检验迭代的量化数据，确定量化误差，其中，所述当前检验迭代的量化数据对所述当前检验迭代的待量化数据进行量化获得；
数据位宽确定单元，用于根据所述量化误差，确定所述当前检验迭代对应的目标数据位宽。
C37、根据条款C36所述的装置，所述数据位宽确定单元用于根据所述量化误差，确定所述当前检验迭代对应的目标数据位宽时，具体用于：
若所述量化误差大于或等于第一预设阈值，则增加所述当前检验迭代对应的数据位宽，获得所述当前检验迭代对应的目标数据位宽；或者，
若所述量化误差小于或等于第二预设阈值，则减小所述当前检验迭代对应的数据位宽，获得所述当前检验迭代对应的目标数据位宽。
C38、根据条款C37所述的装置，所述数据位宽确定单元用于若所述量化误差大于或等于第一预设阈值，则增加所述当前检验迭代对应的数据位宽，获得所述当前检验迭代 对应的目标数据位宽时，具体用于：
若所述量化误差大于或等于第一预设阈值，则根据第一预设位宽步长确定第一中间数据位宽；
返回根据所述当前检验迭代中待量化数据和所述当前检验迭代的量化数据，确定量化误差，直至所述量化误差小于所述第一预设阈值；其中，所述当前检验迭代的量化数据是根据所述第一中间数据位宽对所述当前检验迭代的待量化数据进行量化获得。
C39、根据条款C37所述的装置，所述数据位宽确定单元用于若所述量化误差小于或等于第二预设阈值，则减小所述当前检验迭代对应的数据位宽，获得所述当前检验迭代对应的目标数据位宽时，具体用于：
若所述量化误差小于或等于第二预设阈值，则根据第二预设位宽步长确定第二中间数据位宽；
返回根据所述当前检验迭代中待量化数据和所述当前检验迭代的量化数据，确定量化误差，直至所述量化误差大于所述第二预设阈值；其中，所述当前检验迭代的量化数据是根据所述第二中间数据位宽对所述当前检验迭代的待量化数据进行量化获得。
C40、根据条款C30-C39任一项所述的装置，所述获取模块包括：
第一获取模块，用于获取点位置的变动幅度；其中，所述点位置的变动幅度能够用于表征所述待量化数据的数据变动幅度，所述点位置的变动幅度与所述待量化数据的数据变动幅度正相关。
C41、根据条款C40所述的方法，所述第一获取模块包括：
第一均值确定单元，用于根据当前检验迭代之前的上一检验迭代对应的点位置，以及所述上一检验迭代之前的历史迭代对应的点位置，确定第一均值，其中，所述上一检验迭代为所述目标迭代间隔之前的上一迭代间隔对应的检验迭代；
第二均值确定单元，用于根据所述当前检验迭代对应的点位置及所述当前检验迭代之前的历史迭代的点位置，确定第二均值；其中，所述当前检验迭代对应的点位置根据所述当前检验迭代对应的目标数据位宽和待量化数据确定；
第一误差确定单元，用于根据所述第一均值和所述第二均值确定第一误差，所述第一误差用于表征所述点位置的变动幅度。
C42、根据条款C41所述的装置，所述第二均值确定单元具体用于：
获取预设数量的中间滑动平均值，其中，各个所述中间滑动平均值是根据所述当前检验迭代之前所述预设数量的检验迭代确定的；
根据所述当前检验迭代的点位置以及所述预设数量的中间滑动平均值，确定所述第二均值。
C43、根据条款C41所述的装置，所述第二均值确定单元具体用于根据所述当前检验迭代对应的点位置以及所述第一均值，确定所述第二均值。
C44、根据条款C41所述的装置，所述第二均值确定单元还用于根据获取的所述当前检验迭代的数据位宽调整值，更新所述第二均值；
其中，所述当前检验迭代的数据位宽调整值根据所述当前检验迭代的目标数据位宽和初始数据位宽确定。
C45、根据条款C44所述的装置，所述第二均值确定单元还用于根据获取的所述当前检验迭代的数据位宽调整值，更新所述第二均值时，具体用于：
当所述当前检验迭代的数据位宽调整值大于预设参数时，则根据所述当前检验迭代的数据位宽调整值减小所述第二均值；
当所述当前检验迭代的数据位宽调整值小于预设参数时，则根据所述当前检验迭代的数据位宽调整值增大所述第二均值。
C46、根据条款C41所述的装置，所述迭代间隔确定模块用于根据所述第一误差确定所述目标迭代间隔，所述目标迭代间隔与所述第一误差负相关。
C47、根据条款C40所述的装置，所述获取模块还包括：
第二获取模块，用于获取数据位宽的变化趋势；根据所述点位置的变动幅度和所述数据位宽的变化趋势，确定所述待量化数据的数据变动幅度。
C48、根据条款C47所述的装置，所述迭代间隔确定模块还用于根据获取的第一误差和第二误差，确定所述目标迭代间隔；其中，所述第一误差用于表征点位置的变动幅度，所述第二误差用于表征数据位宽的变化趋势。
C49、根据条款C48所述的装置，所述根迭代间隔确定模块用于根据获取的第一误差和第二误差，确定所述目标迭代间隔时，具体用于：
将所述第一误差和所述第二误差中最大值作为目标误差；
根据所述目标误差确定所述目标迭代间隔，其中，所述目标误差与所述目标迭代间隔负相关。
C50、根据条款C48或C49所述的装置，所述第二误差根据量化误差确定；
其中，所述量化误差根据所述当前检验迭代中待量化数据和所述当前检验迭代的量化数据确定，所述第二误差与所述量化误差正相关。
C51、根据条款C30-C50任一项所述的装置，所述装置用于实现神经网络的训练或微调；所述迭代间隔确定模块还用于：
当所述当前迭代大于第一预设迭代时，则根据所述待量化数据的数据变动幅度确定目标迭代间隔，并根据所述目标迭代间隔调整所述量化参数。
C52、根据条款C51所述的装置，所述迭代间隔确定模块还用于：当所述当前迭代小于或等于所述第一预设迭代时，则将第一预设迭代间隔作为所述目标迭代间隔，并根据所述第一预设迭代间隔调整所述量化参数。
C53、根据条款C51或C52所述的装置，所述迭代间隔确定模块还用于：
当所述当前迭代大于或等于第二预设迭代时，则将第二预设迭代间隔作为所述目标迭代间隔，并根据所述第二预设迭代间隔调整所述量化参数；
其中，当所述神经网络的收敛程度满足预设条件时，则确定所述当前检验迭代大于或等于第二预设迭代；
所述第二预设迭代大于所述第一预设迭代，所述第二预设迭代间隔大于所述第一预设迭代间隔。
C54、根据条款C53所述的装置，所述迭代间隔确定模块还用于：当所述当前迭代大于或等于第二预设迭代，且第二误差大于预设误差值时，则根据所述待量化数据的数据变动幅度确定迭代间隔，以根据所述迭代间隔重新确定所述数据位宽。
以上已经描述了本披露的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。
上文描述了为解决量化参数调整的问题而提出的方案(201910528537.8)。

Claims (59)

  1. 一种用于调整数据位宽的方法，其特征在于，所述方法包括：
    获取用于针对待量化数据执行量化处理的数据位宽，所述数据位宽指示所述待量化数据在经过所述量化处理后的量化后数据的位宽；
    基于所述数据位宽，针对一组待量化数据执行量化处理，以将所述一组待量化数据转换至一组量化后数据，所述一组量化后数据具有所述数据位宽；
    比较所述一组待量化数据和所述一组量化后数据，确定与所述数据位宽相关联的量化误差；以及
    基于确定的所述量化误差来调整所述数据位宽。
  2. 根据权利要求1所述的方法，其特征在于，比较所述一组待量化数据和所述一组量化后数据，确定与所述数据位宽相关联的量化误差包括：
    根据所述数据位宽确定量化间隔；以及
    根据所述量化间隔、所述一组量化后数据以及所述一组待量化数据确定所述量化误差。
  3. 根据权利要求2所述的方法，其特征在于，根据所述量化间隔、所述一组量化后数据以及所述一组待量化数据确定所述量化误差包括：
    根据所述量化间隔，针对所述一组量化后数据进行反量化，以获得一组反量化数据，其中所述一组反量化数据的数据格式与所述一组待量化数据的数据格式相同；以及
    根据所述一组反量化数据和所述一组待量化数据，确定量化误差。
  4. 根据权利要求1至3中的任一项所述的方法，其特征在于，基于确定的所述量化误差来调整所述数据位宽包括：
    比较所述量化误差与预设阈值，所述预设阈值包括第一阈值和第二阈值中的至少一个；以及
    根据所述比较的结果来调整所述数据位宽。
  5. 根据权利要求4所述的方法，其特征在于，根据所述比较的结果来调整所述数据位宽包括：
    响应于确定所述量化误差大于或等于第一阈值，增加所述数据位宽。
  6. 根据权利要求5所述的方法，其特征在于，增加所述数据位宽包括：
    根据第一预设位宽步长增加所述数据位宽，以确定调整后数据位宽。
  7. 根据权利要求6所述的方法，其特征在于，进一步包括：
    基于所述调整后数据位宽，针对所述一组待量化数据执行量化处理，以将所述一组待量化数据转换至另一组量化后数据，所述另一组量化后数据具有所述调整后数据位宽；以及
    比较所述一组待量化数据和所述另一组量化后数据，确定与所述调整后数据位宽 相关联的另一量化误差，直至所述另一量化误差小于所述第一预设阈值。
  8. 根据权利要求7所述的方法，其特征在于，所述方法迭代地被执行。
  9. 根据权利要求4所述的方法，其特征在于，根据所述比较的结果来调整所述数据位宽包括：
    响应于确定所述量化误差小于或等于所述第二阈值，减少所述数据位宽。
  10. 根据权利要求9所述的方法，其特征在于，减少所述数据位宽包括：
    根据第二预设位宽步长减少所述数据位宽，以确定调整后数据位宽。
  11. 根据权利要求10所述的方法，其特征在于，进一步包括：
    基于所述调整后数据位宽，针对所述一组待量化数据执行量化处理，以将所述一组待量化数据转换至另一组量化后数据，所述另一组量化后数据具有所述调整后数据位宽；以及
    基于所述一组待量化数据和所述另一组量化后数据，确定与所述调整后数据位宽相关联的另一量化误差，直至所述另一量化误差大于所述第二预设阈值。
  12. 根据权利要求11所述的方法，其特征在于，所述方法迭代地被执行。
  13. 根据权利要求4所述的方法，其特征在于，根据所述比较的结果来调整所述数据位宽包括：
    响应于确定所述量化误差处于所述第一阈值和所述第二阈值之间，保持所述数据位宽。
  14. 根据权利要求1至13中的任一项所述的方法，其特征在于，进一步包括：
    基于所述一组待量化数据和所述调整后数据位宽，更新用于针对所述一组待量化数据执行量化处理的量化参数；以及
    基于更新的所述量化参数，针对所述一组待量化数据执行量化处理。
  15. 根据权利要求1所述的方法，其特征在于，进一步包括：
    获取待量化数据的数据变动幅度；
    根据所述待量化数据的数据变动幅度，确定目标迭代间隔，以根据所述目标迭代间隔调整所述数据位宽，所述目标迭代间隔包括至少一次迭代。
  16. 根据权利要求15所述的方法，其特征在于，所述获取待量化数据的数据变动幅度，包括：
    获取点位置的变动幅度，其中所述点位置的变动幅度用于表征所述待量化数据的数据变动幅度，所述点位置的变动幅度与所述待量化数据的数据变动幅度正相关。
  17. 根据权利要求16所述的方法，其特征在于，所述获取点位置的变动幅度，包括：
    根据当前检验迭代之前的上一检验迭代对应的点位置，以及所述上一检验迭代之前的历史迭代对应的点位置，确定第一均值，其中所述上一检验迭代为所述目标迭代间隔之前的上一迭代间隔对应的检验迭代；
    根据所述当前检验迭代对应的点位置及所述当前检验迭代之前的历史迭代的点 位置，确定第二均值；其中所述当前检验迭代对应的点位置根据所述当前检验迭代对应的目标数据位宽和待量化数据确定；
    根据所述第一均值和所述第二均值确定第一误差，所述第一误差用于表征所述点位置的变动幅度。
  18. 根据权利要求15所述的方法，其特征在于，所述根据所述待量化数据的数据变动幅度，确定目标迭代间隔，包括：
    根据所述第一误差确定所述目标迭代间隔，所述目标迭代间隔与所述第一误差负相关。
  19. 根据权利要求15所述的方法，其特征在于，所述获取待量化数据的数据变动幅度，进一步包括：
    获取所述数据位宽的变化趋势；
    根据所述点位置的变动幅度和所述数据位宽的变化趋势，确定所述待量化数据的数据变动幅度。
  20. 根据权利要求19所述的方法，其特征在于，根据所述待量化数据的数据变动幅度，确定目标迭代间隔，进一步包括：
    根据获取的第一误差和第二误差，确定所述目标迭代间隔；其中所述第一误差用于表征点位置的变动幅度，所述第二误差用于表征数据位宽的变化趋势。
  21. 根据权利要求20所述的方法，其特征在于，所述根据获取的所述第一误差和所述第二误差，确定所述目标迭代间隔，包括：
    将所述第一误差和所述第二误差中最大值作为目标误差；
    根据所述目标误差确定所述目标迭代间隔，其中，所述目标误差与所述目标迭代间隔负相关。
  22. 根据权利要求20或21所述的方法，其特征在于，所述第二误差根据量化误差确定；
    其中，所述量化误差根据所述当前检验迭代中待量化数据和所述当前检验迭代的量化数据确定，所述第二误差与所述量化误差正相关。
  23. 根据权利要求15至22中的任一项所述的方法，其特征在于，所述方法用于神经网络的训练或微调，所述方法进一步包括：
    当所述当前迭代大于第一预设迭代时，则根据所述待量化数据的数据变动幅度确定目标迭代间隔，并根据所述目标迭代间隔调整所述量化参数。
  24. 根据权利要求23所述的方法，其特征在于，所述方法进一步包括：
    当所述当前迭代小于或等于所述第一预设迭代时，则将第一预设迭代间隔作为所述目标迭代间隔，并根据所述第一预设迭代间隔调整所述量化参数。
  25. 根据权利要求23或24所述的方法，其特征在于，所述方法进一步包括：
    当所述当前迭代大于或等于第二预设迭代时，则将第二预设迭代间隔作为所述目标迭代间隔，并根据所述第二预设迭代间隔调整所述量化参数；
    其中，所述第二预设迭代大于所述第一预设迭代，所述第二预设迭代间隔大于所述第一预设迭代间隔。
  26. 根据权利要求25所述的方法，其特征在于，所述方法进一步包括：
    当所述神经网络的收敛程度满足预设条件时，则确定所述当前检验迭代大于或等于第二预设迭代。
  27. 根据权利要求25所述的方法，其特征在于，所述方法进一步包括：
    当所述当前迭代大于或等于第二预设迭代，且第二误差大于预设误差值时，则根据所述待量化数据的数据变动幅度确定迭代间隔，以根据所述迭代间隔重新确定所述数据位宽。
  28. 一种调整数据位宽的装置，其特征在于，包括：
    获取模块，用于获取用于针对待量化数据执行量化处理的数据位宽，所述数据位宽指示所述待量化数据在经过所述量化处理后的量化后数据的位宽；
    量化模块，用于基于所述数据位宽，针对一组待量化数据执行量化处理，以将所述一组待量化数据转换至一组量化后数据，所述一组量化后数据具有所述数据位宽；
    确定模块，用于比较所述一组待量化数据和所述一组量化后数据，确定与所述数据位宽相关联的量化误差；以及
    调整基于确定的所述量化误差来调整所述数据位宽。
  29. 根据权利要求28所述的装置，其特征在于，所述比较模块包括：
    间隔确定模块，用于根据所述数据位宽确定量化间隔；以及
    误差确定模块，用于根据所述量化间隔、所述一组量化后数据以及所述一组待量化数据确定所述量化误差。
  30. 根据权利要求29所述的装置，其特征在于，所述误差确定模块包括：
    范量化模块，用于根据所述量化间隔，针对所述一组量化后数据进行反量化，以获得一组反量化数据，其中所述一组反量化数据的数据格式与所述一组待量化数据的数据格式相同；以及
    量化误差确定模块，用于根据所述一组反量化数据和所述一组待量化数据，确定量化误差。
  31. 根据权利要求28至30中的任一项所述的装置，其特征在于，所述调整模块包括：
    比较模块，用于比较所述量化误差与预设阈值，所述预设阈值包括第一阈值和第二阈值中的至少一个；以及
    位宽调整模块，用于根据所述比较的结果来调整所述数据位宽。
  32. 根据权利要求31所述的装置，其特征在于，所述位宽调整模块包括：
    增加模块，用于响应于确定所述量化误差大于或等于第一阈值，增加所述数据位宽。
  33. 根据权利要求32所述的装置，其特征在于，所述增加模块包括：
    步长增加模块，用于根据第一预设位宽步长增加所述数据位宽，以确定调整后数据位宽。
  34. 根据权利要求33所述的装置，其特征在于：
    所述量化模块进一步用于基于所述调整后数据位宽，针对所述一组待量化数据执行量化处理，以将所述一组待量化数据转换至另一组量化后数据，所述另一组量化后数据具有所述调整后数据位宽；以及
    所述确定模块进一步用于比较所述一组待量化数据和所述另一组量化后数据，确定与所述调整后数据位宽相关联的另一量化误差，直至所述另一量化误差小于所述第一预设阈值。
  35. 根据权利要求34所述的装置，其特征在于，所述装置迭代地被调用。
  36. 根据权利要求31所述的装置，其特征在于，所述调整模块包括：
    减少模块，用于响应于确定所述量化误差小于或等于所述第二阈值，减少所述数据位宽。
  37. 根据权利要求36所述的装置，其特征在于，所述减少模块包括：
    步长减小模块，用于根据第二预设位宽步长减少所述数据位宽，以确定调整后数据位宽。
  38. 根据权利要求37所述的装置，其特征在于：
    所述量化模块进一步用于基于所述调整后数据位宽，针对所述一组待量化数据执行量化处理，以将所述一组待量化数据转换至另一组量化后数据，所述另一组量化后数据具有所述调整后数据位宽；以及
    所述确定模块进一步用于基于所述一组待量化数据和所述另一组量化后数据，确定与所述调整后数据位宽相关联的另一量化误差，直至所述另一量化误差大于所述第二预设阈值。
  39. 根据权利要求38所述的装置，其特征在于，所述装置迭代地被调用。
  40. 根据权利要求31所述的装置，其特征在于，所述调整模块包括：
    保持模块，用于响应于确定所述量化误差处于所述第一阈值和所述第二阈值之间，保持所述数据位宽。
  41. 根据权利要求28至40中的任一项所述的装置，其特征在于，进一步包括：
    更新模块，用于基于所述一组待量化数据和所述调整后数据位宽，更新用于针对所述一组待量化数据执行量化处理的量化参数；以及
    所述量化模块进一步用于基于更新的所述量化参数，针对所述一组待量化数据执行量化处理。
  42. 根据权利要求28所述的装置，其特征在于，进一步包括：
    幅度模块，用于获取待量化数据的数据变动幅度；
    间隔模块，用于根据所述待量化数据的数据变动幅度，确定目标迭代间隔，以根据所述目标迭代间隔调整所述数据位宽，所述目标迭代间隔包括至少一次迭代。
  43. 根据权利要求42所述的装置，其特征在于，所述幅度模块包括：
    点位置模块，用于获取点位置的变动幅度，其中所述点位置的变动幅度用于表征所述待量化数据的数据变动幅度，所述点位置的变动幅度与所述待量化数据的数据变动幅度正相关。
  44. 根据权利要求43所述的装置，其特征在于，所述点位置模块，包括：
    第一均值模块，用于根据当前检验迭代之前的上一检验迭代对应的点位置，以及所述上一检验迭代之前的历史迭代对应的点位置，确定第一均值，其中所述上一检验迭代为所述目标迭代间隔之前的上一迭代间隔对应的检验迭代；
    第二均值模块，用于根据所述当前检验迭代对应的点位置及所述当前检验迭代之前的历史迭代的点位置，确定第二均值；其中所述当前检验迭代对应的点位置根据所述当前检验迭代对应的目标数据位宽和待量化数据确定；
    第一误差模块，用于根据所述第一均值和所述第二均值确定第一误差，所述第一误差用于表征所述点位置的变动幅度。
  45. 根据权利要求42所述的装置，其特征在于，所述间隔模块包括：
    第一间隔模块，用于根据所述第一误差确定所述目标迭代间隔，所述目标迭代间隔与所述第一误差负相关。
  46. 根据权利要求42所述的装置，其特征在于，所述幅度模块进一步包括：
    趋势模块，用于获取所述数据位宽的变化趋势；
    数据变动幅度模块，用于根据所述点位置的变动幅度和所述数据位宽的变化趋势，确定所述待量化数据的数据变动幅度。
  47. 根据权利要求46所述的装置，其特征在于，所述间隔模块，进一步包括：
    迭代间隔模块，用于根据获取的第一误差和第二误差，确定所述目标迭代间隔；其中所述第一误差用于表征点位置的变动幅度，所述第二误差用于表征数据位宽的变化趋势。
  48. 根据权利要求47所述的装置，其特征在于，所述迭代间隔模块包括：
    目标误差模块，用于将所述第一误差和所述第二误差中最大值作为目标误差；
    目标迭代间隔模块，用于根据所述目标误差确定所述目标迭代间隔，其中，所述目标误差与所述目标迭代间隔负相关。
  49. 根据权利要求47或48所述的装置，其特征在于，所述第二误差根据量化误差确定；
    其中，所述量化误差根据所述当前检验迭代中待量化数据和所述当前检验迭代的量化数据确定，所述第二误差与所述量化误差正相关。
  50. 根据权利要求42至49中的任一项所述的装置，其特征在于，所述装置用于神经网络的训练或微调，所述装置进一步包括：
    第一迭代模块，用于当所述当前迭代大于第一预设迭代时，则根据所述待量化数据的数据变动幅度确定目标迭代间隔，并根据所述目标迭代间隔调整所述量化参数。
  51. 根据权利要求50所述的装置，其特征在于，所述装置进一步包括：
    第二迭代模块，用于当所述当前迭代小于或等于所述第一预设迭代时，则将第一预设迭代间隔作为所述目标迭代间隔，并根据所述第一预设迭代间隔调整所述量化参数。
  52. 根据权利要求50或51所述的装置，其特征在于，所述装置进一步包括：
    第三迭代模块，用于当所述当前迭代大于或等于第二预设迭代时，则将第二预设迭代间隔作为所述目标迭代间隔，并根据所述第二预设迭代间隔调整所述量化参数；
    其中，所述第二预设迭代大于所述第一预设迭代，所述第二预设迭代间隔大于所述第一预设迭代间隔。
  53. 根据权利要求52所述的装置，其特征在于，所述装置进一步包括：
    收敛模块，用于当所述神经网络的收敛程度满足预设条件时，则确定所述当前检验迭代大于或等于第二预设迭代。
  54. 根据权利要求52所述的装置，其特征在于，所述装置进一步包括：
    当所述当前迭代大于或等于第二预设迭代，且第二误差大于预设误差值时，则根据所述待量化数据的数据变动幅度确定迭代间隔，以根据所述迭代间隔重新确定所述数据位宽。
  55. 一种计算机可读存储介质，其特征在于其上存储有计算机程序，所述程序被执行时实现根据权利要求1-27中的任一项所述的方法。
  56. 一种人工智能芯片，其特征在于，所述芯片包括根据权利要求28至54中的任一项所述的用于处理数据的装置。
  57. 一种电子设备，其特征在于，所述电子设备包括根据权利要求56所述的人工智能芯片。
  58. 一种板卡，其特征在于，所述板卡包括：存储器件、接口装置和控制器件以及根据权利要求56所述的人工智能芯片；
    其中，所述人工智能芯片与所述存储器件、所述控制器件以及所述接口装置相连接；
    所述存储器件，用于存储数据；
    所述接口装置，用于实现所述人工智能芯片与外部设备之间的数据传输；以及
    所述控制器件，用于对所述人工智能芯片的状态进行监控。
  59. 根据权利要求58所述的板卡，其特征在于，
    所述存储器件包括：多组存储单元，每组存储单元与所述人工智能芯片通过总线连接，所述存储单元为DDR SDRAM；
    所述芯片包括：DDR控制器，用于对每个所述存储单元的数据传输与数据存储的控制；
    所述接口装置为标准PCIE接口。
PCT/CN2019/106801 2019-06-12 2019-09-19 一种神经网络的量化参数确定方法及相关产品 WO2020248424A1 (zh)

Priority Applications (7)

Application Number Priority Date Filing Date Title
CN201980005061.8A CN112400176A (zh) 2019-06-12 2019-09-19 一种神经网络的量化参数确定方法及相关产品
KR1020207038085A KR102656332B1 (ko) 2019-06-12 2019-09-19 신경망의 양자화 파라미터 확정방법 및 관련제품
KR1020207038081A KR20210018352A (ko) 2019-06-12 2019-09-19 신경망의 양자화 파라미터 확정방법 및 관련제품
KR1020207038084A KR102609719B1 (ko) 2019-06-12 2019-09-19 신경망의 양자화 파라미터 확정방법 및 관련제품
JP2020573207A JP2021530769A (ja) 2019-06-12 2019-09-19 ニューラルネットワークにおける量子化パラメータの確定方法および関連製品
EP19932304.9A EP3998554A4 (en) 2019-06-12 2019-09-19 METHOD FOR DETERMINING QUANTIZATION PARAMETERS IN A NEURONAL NETWORK AND ASSOCIATED PRODUCTS
US17/547,972 US20220261634A1 (en) 2019-06-12 2021-12-10 Neural network quantization parameter determination method and related products

Applications Claiming Priority (8)

Application Number Priority Date Filing Date Title
CN201910505239 2019-06-12
CN201910505239.7 2019-06-12
CN201910515355 2019-06-14
CN201910515355.7 2019-06-14
CN201910528537 2019-06-18
CN201910528537.8 2019-06-18
CN201910570125.0 2019-06-27
CN201910570125 2019-06-27

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/547,972 Continuation US20220261634A1 (en) 2019-06-12 2021-12-10 Neural network quantization parameter determination method and related products

Publications (1)

Publication Number Publication Date
WO2020248424A1 true WO2020248424A1 (zh) 2020-12-17

Family

ID=69185300

Family Applications (2)

Application Number Title Priority Date Filing Date
PCT/CN2019/106754 WO2020248423A1 (zh) 2019-06-12 2019-09-19 一种神经网络的量化参数确定方法及相关产品
PCT/CN2019/106801 WO2020248424A1 (zh) 2019-06-12 2019-09-19 一种神经网络的量化参数确定方法及相关产品

Family Applications Before (1)

Application Number Title Priority Date Filing Date
PCT/CN2019/106754 WO2020248423A1 (zh) 2019-06-12 2019-09-19 一种神经网络的量化参数确定方法及相关产品

Country Status (6)

Country Link
US (2) US11675676B2 (zh)
EP (4) EP3998554A4 (zh)
JP (3) JP2021530769A (zh)
KR (3) KR102609719B1 (zh)
CN (14) CN112085192B (zh)
WO (2) WO2020248423A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210097397A1 (en) * 2019-09-30 2021-04-01 Fujitsu Limited Information processing apparatus and information processing method

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11437032B2 (en) 2017-09-29 2022-09-06 Shanghai Cambricon Information Technology Co., Ltd Image processing apparatus and method
US11704125B2 (en) 2018-02-13 2023-07-18 Cambricon (Xi'an) Semiconductor Co., Ltd. Computing device and method
CN116991226A (zh) 2018-02-14 2023-11-03 上海寒武纪信息科技有限公司 处理器的控制装置、方法及设备
EP3825841A1 (en) 2018-06-27 2021-05-26 Shanghai Cambricon Information Technology Co., Ltd Method and device for parallel computation of a network model
US11507823B2 (en) * 2019-01-22 2022-11-22 Black Sesame Technologies Inc. Adaptive quantization and mixed precision in a network
US11966818B2 (en) 2019-02-21 2024-04-23 Hewlett Packard Enterprise Development Lp System and method for self-healing in decentralized model building for machine learning using blockchain
US11676028B2 (en) 2019-06-12 2023-06-13 Shanghai Cambricon Information Technology Co., Ltd Neural network quantization parameter determination method and related products
CN110490309B (zh) * 2019-08-14 2022-06-07 中科寒武纪科技股份有限公司 一种用于神经网络的算子融合方法及其相关产品
US12001955B2 (en) 2019-08-23 2024-06-04 Anhui Cambricon Information Technology Co., Ltd. Data processing method, device, computer equipment and storage medium
CN112487182B (zh) * 2019-09-12 2024-04-12 华为技术有限公司 文本处理模型的训练方法、文本处理方法及装置
US20210232890A1 (en) * 2019-09-24 2021-07-29 Baidu Usa Llc Cursor-based adaptive quantization for deep neural networks
US11775611B2 (en) * 2019-11-01 2023-10-03 Samsung Electronics Co., Ltd. Piecewise quantization for neural networks
JP2021111081A (ja) * 2020-01-09 2021-08-02 富士通株式会社 情報処理装置、ニューラルネットワークの演算プログラム及びニューラルネットワークの演算方法
US20210241183A1 (en) * 2020-01-31 2021-08-05 Hewlett Packard Enterprise Development Lp Adaptively synchronizing learning of multiple learning models
CN113741619B (zh) * 2020-05-27 2024-03-12 安徽寒武纪信息科技有限公司 时钟控制装置及相关产品
CN112686001B (zh) * 2021-01-05 2021-12-03 中科三清科技有限公司 气象数据的变换方法、传输方法、服务器及数据传输系统
KR102507461B1 (ko) * 2021-02-16 2023-03-07 고려대학교 산학협력단 레이어-단위 양자화 신경망을 위한 인-메모리 가속기 및 이의 동작 방법
CN112990457B (zh) * 2021-03-26 2024-05-03 开放智能机器（上海）有限公司 离线量化调优方法、装置、设备、介质及程序产品
CN113220606B (zh) * 2021-05-07 2021-11-26 珠海市芯动力科技有限公司 神经网络权值存储方法、读取方法及相关设备
JP2023069780A (ja) * 2021-11-08 2023-05-18 富士通株式会社 演算プログラム、演算方法及び計算機
KR20230102665A (ko) * 2021-12-30 2023-07-07 한국전자기술연구원 딥러닝 네트워크 양자화 처리 방법 및 시스템
WO2023177272A1 (ko) * 2022-03-18 2023-09-21 인텔렉추얼디스커버리 주식회사 신경망 기반 특징 텐서 압축 방법 및 장치
CN114611697B (zh) * 2022-05-11 2022-09-09 上海登临科技有限公司 神经网络量化及部署方法、系统、电子设备及存储介质
CN117787358A (zh) * 2024-01-16 2024-03-29 之江实验室 一种基于阻变存储器的模型量化方法、装置以及设备
CN117910421A (zh) * 2024-03-15 2024-04-19 南京美辰微电子有限公司 一种基于神经网络的动态近似电路计算部署方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106570559A (zh) * 2015-10-09 2017-04-19 阿里巴巴集团控股有限公司 一种基于神经网络的数据处理方法和装置
CN108053028A (zh) * 2017-12-21 2018-05-18 深圳云天励飞技术有限公司 数据定点化处理方法、装置、电子设备及计算机存储介质
CN108510067A (zh) * 2018-04-11 2018-09-07 西安电子科技大学 基于工程化实现的卷积神经网络量化方法
US20190050710A1 (en) * 2017-08-14 2019-02-14 Midea Group Co., Ltd. Adaptive bit-width reduction for neural networks

Family Cites Families (245)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2604712B2 (ja) * 1985-10-18 1997-04-30 ソニー株式会社 テレビジヨン信号の高能率符号化／復号装置
JPS63111768A (ja) * 1986-10-30 1988-05-17 Nec Corp 画像デ−タ量子化装置
JPH0375860A (ja) 1989-08-18 1991-03-29 Hitachi Ltd パーソナライズド端末
US5052043A (en) 1990-05-07 1991-09-24 Eastman Kodak Company Neural network with back propagation controlled through an output confidence measure
DE69224227T2 (de) * 1991-04-18 1998-07-09 Ampex Verfahren und Anordnung zur Bestimmung eines Quantisierungsfaktors für Prozesse mit Datenkomprimierung und -dekomprimierung
US6144977A (en) 1995-07-10 2000-11-07 Motorola, Inc. Circuit and method of converting a floating point number to a programmable fixed point number
GB9602701D0 (en) 1996-02-09 1996-04-10 Canon Kk Image manipulation
JPH10233691A (ja) * 1998-03-30 1998-09-02 Nec Corp 符号化方式および復号方式
US7242414B1 (en) 1999-07-30 2007-07-10 Mips Technologies, Inc. Processor having a compare extension of an instruction set architecture
JP2000293371A (ja) 1999-04-09 2000-10-20 Hitachi Ltd マイクロプログラム制御方法及び装置
US6671796B1 (en) 2000-02-25 2003-12-30 Sun Microsystems, Inc. Converting an arbitrary fixed point value to a floating point value
US6931639B1 (en) 2000-08-24 2005-08-16 International Business Machines Corporation Method for implementing a variable-partitioned queue for simultaneous multithreaded processors
TW574415B (en) 2000-09-07 2004-02-01 Nihon Parkerizing Hexavalent chromium-free surface-treating agent for Sn- or Al-based coated steel sheet, and surface treated steel sheet
US7062445B2 (en) * 2001-01-26 2006-06-13 Microsoft Corporation Quantization loop with heuristic approach
US20020138714A1 (en) 2001-03-22 2002-09-26 Sun Microsystems, Inc. Scoreboard for scheduling of instructions in a microprocessor that provides out of order execution
WO2002086817A1 (en) 2001-04-19 2002-10-31 Telefonaktiebolaget Lm Ericsson (Publ) Adaptive memory allocation
US20030167460A1 (en) 2002-02-26 2003-09-04 Desai Vipul Anil Processor instruction set simulation power estimation method
JP4148356B2 (ja) * 2002-11-18 2008-09-10 学校法人東海大学 量子化ステップパラメータ決定装置と量子化ステップパラメータ決定方法と量子化ステップパラメータ決定プログラム、ならびに非線形量子化方法と非線形量子化装置と非線形量子化プログラム
US7236995B2 (en) 2002-12-27 2007-06-26 Arm Limited Data processing apparatus and method for converting a number between fixed-point and floating-point representations
DE10316381A1 (de) 2003-04-10 2004-10-28 Bayer Technology Services Gmbh Verfahren zum Training von neuronalen Netzen
JP3889738B2 (ja) * 2003-09-26 2007-03-07 三洋電機株式会社 逆量子化装置、オーディオ復号化装置、画像復号化装置、逆量子化方法および逆量子化プログラム
JP4202244B2 (ja) 2003-12-22 2008-12-24 Ｎｅｃエレクトロニクス株式会社 Ｖｌｉｗ型ｄｓｐ，及びその動作方法
US20060161375A1 (en) 2004-12-30 2006-07-20 Allen Duberstein Optimizing processing speed based on measured temperatures
KR100762591B1 (ko) * 2005-09-29 2007-10-01 엘지전자 주식회사 비디오 코덱의 양자화 파라미터 결정방법
US7721128B2 (en) 2005-11-29 2010-05-18 International Business Machines Corporation Implementation of thermal throttling logic
WO2007116551A1 (ja) * 2006-03-30 2007-10-18 Kabushiki Kaisha Toshiba 画像符号化装置及び画像符号化方法並びに画像復号化装置及び画像復号化方法
CN1851668A (zh) 2006-06-01 2006-10-25 北京天碁科技有限公司 片上系统芯片、片上系统芯片的跟踪调试系统及方法
JP5224666B2 (ja) * 2006-09-08 2013-07-03 株式会社東芝 オーディオ符号化装置
DE102006059156B4 (de) 2006-12-14 2008-11-06 Advanced Micro Devices, Inc., Sunnyvale Verfahren zum Testen eines integrierten Schaltkreischips mit zumindest zwei Schaltungskernen sowie integrierter Schaltkreischip und Testsystem
US20110060587A1 (en) 2007-03-07 2011-03-10 Phillips Michael S Command and control utilizing ancillary information in a mobile voice-to-speech application
US8560591B2 (en) 2007-04-25 2013-10-15 International Business Machines Corporation Detection of potential need to use a larger data format in performing floating point operations
US8190664B2 (en) 2007-04-26 2012-05-29 International Business Machines Corporation Employing a mask field of an instruction to encode a sign of a result of the instruction
US8051118B2 (en) 2007-04-26 2011-11-01 International Business Machines Corporation Composition of decimal floating point data
US8051117B2 (en) 2007-04-26 2011-11-01 International Business Machines Corporation Shift significand of decimal floating point data
JP5184824B2 (ja) 2007-06-15 2013-04-17 キヤノン株式会社 演算処理装置及び方法
JP2009110353A (ja) 2007-10-31 2009-05-21 Hitachi Ltd マイクロコントローラ及び制御システム
US7904287B2 (en) 2007-11-13 2011-03-08 International Business Machines Corporation Method and system for real-time prediction of power usage for a change to another performance state
JP4998794B2 (ja) 2007-11-29 2012-08-15 Ｎｋワークス株式会社 画像補正方法と画像補正装置
KR101518237B1 (ko) * 2008-09-01 2015-05-15 삼성전자주식회사 영상의 역양자화 방법 및 장치, 복호화 방법 및 장치
US20100073068A1 (en) 2008-09-22 2010-03-25 Hanwoo Cho Functional block level thermal control
CN101754490B (zh) * 2008-12-17 2012-11-07 电信科学技术研究院 一种数据传输的方法、系统和装置
CN101572829B (zh) 2009-06-10 2011-02-02 中国联合网络通信集团有限公司 Iptv视频质量监测方法、装置和系统
EP2336882A1 (en) 2009-12-18 2011-06-22 Telefonaktiebolaget L M Ericsson (PUBL) Technique for run-time provision of executable code using off-device services
WO2011132277A1 (ja) 2010-04-21 2011-10-27 トヨタ自動車株式会社 内燃機関の制御装置
JP2011253374A (ja) 2010-06-02 2011-12-15 Sony Corp 情報処理装置、および情報処理方法、並びにプログラム
US8452463B2 (en) 2010-06-04 2013-05-28 Apple Inc. Adjusting the thermal behavior of a computing system using indirect information about ambient temperature
US8694572B2 (en) 2010-07-06 2014-04-08 Silminds, Llc, Egypt Decimal floating-point fused multiply-add unit
CN102622207B (zh) * 2011-01-30 2015-07-22 中兴通讯股份有限公司 定点化处理方法及装置
US8924455B1 (en) 2011-02-25 2014-12-30 Xilinx, Inc. Multiplication of matrices using systolic arrays
US9031341B2 (en) * 2011-02-28 2015-05-12 Megachips Corporation Image coding apparatus
CN102761509B (zh) 2011-04-27 2016-01-06 联芯科技有限公司 Ofdm系统的接收系统及降低接收系统内存的方法
AU2012253292B2 (en) 2011-05-12 2015-10-29 Apple Inc. Presence sensing
CN102789413B (zh) 2011-05-23 2016-02-17 同济大学 一种并行程序的调试系统及方法
US8594982B2 (en) 2011-06-09 2013-11-26 Pulsar Informatics, Inc. Systems and methods for distributed calculation of fatigue-risk prediction and optimization
CN102291773B (zh) * 2011-07-18 2014-12-10 电信科学技术研究院 一种数据压缩方法和设备
CN102404673B (zh) 2011-11-24 2013-12-18 苏州上声电子有限公司 数字化扬声器系统通道均衡与声场控制方法和装置
CN103152673B (zh) 2011-12-07 2015-07-08 中国科学院声学研究所 基于四元码动态失配整形的数字扬声器驱动方法和装置
CN102684701B (zh) 2012-04-27 2014-07-09 苏州上声电子有限公司 基于编码转换的数字扬声器驱动方法和装置
DE102012009502A1 (de) 2012-05-14 2013-11-14 Kisters Ag Verfahren zum Trainieren eines künstlichen neuronalen Netzes
US9417891B2 (en) 2012-06-11 2016-08-16 Vmware, Inc. Unified storage/VDI provisioning methodology
US9224089B2 (en) * 2012-08-07 2015-12-29 Qualcomm Incorporated Method and apparatus for adaptive bit-allocation in neural systems
US9063731B2 (en) 2012-08-27 2015-06-23 Samsung Electronics Co., Ltd. Ultra low power apparatus and method to wake up a main processor
CN102903089B (zh) 2012-09-07 2014-12-17 山东大学 一种Linux环境下生成遥感图像快视图的方法
US9412366B2 (en) 2012-09-18 2016-08-09 Adobe Systems Incorporated Natural language image spatial and tonal localization
JP5913059B2 (ja) * 2012-11-13 2016-04-27 日本電信電話株式会社 分散型無線通信基地局システム、信号処理装置、無線装置、及び分散型無線通信基地局システムの動作方法
CN102981854A (zh) 2012-11-16 2013-03-20 天津市天祥世联网络科技有限公司 基于浮点数运算内联函数库的神经网络优化方法
CN105026445A (zh) 2012-11-22 2015-11-04 学校法人庆应义塾 丙烯酸系共聚物、光学膜、偏振片以及液晶显示装置
US9851977B2 (en) 2012-12-06 2017-12-26 Kalray Apparatus and method for combining thread warps with compatible execution masks for simultaneous execution and increased lane utilization
US9720732B1 (en) 2013-02-11 2017-08-01 Amazon Technologies, Inc. Parameter selection for optimization of task execution based on execution history for prior tasks
JP2014170295A (ja) 2013-03-01 2014-09-18 Honda Motor Co Ltd 物体認識システム及び物体認識方法
US20190138372A1 (en) 2013-04-29 2019-05-09 Moogsoft, Inc. System for managing an instructure with security
US20150063461A1 (en) * 2013-08-27 2015-03-05 Magnum Semiconductor, Inc. Methods and apparatuses for adjusting macroblock quantization parameters to improve visual quality for lossy video encoding
JP6184891B2 (ja) 2014-03-12 2017-08-23 東芝メモリ株式会社 情報処理装置、半導体チップ、情報処理方法およびプログラム
CN105100810B (zh) * 2014-05-16 2018-02-13 中国科学院声学研究所 一种成像声纳实时处理系统中的图像压缩解压方法及系统
US9507405B2 (en) 2014-06-18 2016-11-29 Oracle International Corporation System and method for managing power in a chip multiprocessor using a proportional feedback mechanism
US10318882B2 (en) * 2014-09-11 2019-06-11 Amazon Technologies, Inc. Optimized training of linear machine learning models
US9575537B2 (en) 2014-07-25 2017-02-21 Intel Corporation Adaptive algorithm for thermal throttling of multi-core processors with non-homogeneous performance states
US10282100B2 (en) 2014-08-19 2019-05-07 Samsung Electronics Co., Ltd. Data management scheme in virtualized hyperscale environments
GB2524126B (en) 2014-08-28 2016-07-27 Imagination Tech Ltd Combining paths
US9916130B2 (en) 2014-11-03 2018-03-13 Arm Limited Apparatus and method for vector processing
FR3030077B1 (fr) 2014-12-10 2016-12-02 Arnault Ioualalen Procede d'ajustement de la precision d'un programme d'ordinateur manipulant au moins un nombre a virgule.
EP3035204B1 (en) 2014-12-19 2018-08-15 Intel Corporation Storage device and method for performing convolution operations
US20170061279A1 (en) 2015-01-14 2017-03-02 Intel Corporation Updating an artificial neural network using flexible fixed point representation
US20160328645A1 (en) 2015-05-08 2016-11-10 Qualcomm Incorporated Reduced computational complexity for fixed point neural network
US10373050B2 (en) * 2015-05-08 2019-08-06 Qualcomm Incorporated Fixed point neural network based on floating point neural network quantization
US10262259B2 (en) * 2015-05-08 2019-04-16 Qualcomm Incorporated Bit width selection for fixed point neural networks
US10083395B2 (en) 2015-05-21 2018-09-25 Google Llc Batch processing in a neural network processor
CN104899641B (zh) 2015-05-25 2018-07-13 杭州朗和科技有限公司 深度神经网络学习方法、处理器和深度神经网络学习系统
CN115100019A (zh) 2015-06-10 2022-09-23 无比视视觉技术有限公司 用于处理图像的图像处理器和方法
CN104978303B (zh) 2015-06-19 2019-06-04 上海兆芯集成电路有限公司 单芯片整合的传感器集线器和多传感器管理方法
CN106469291A (zh) 2015-08-19 2017-03-01 中兴通讯股份有限公司 图像处理方法及终端
WO2017031630A1 (zh) * 2015-08-21 2017-03-02 中国科学院自动化研究所 基于参数量化的深度卷积神经网络的加速与压缩方法
US10031765B2 (en) 2015-09-24 2018-07-24 Intel Corporation Instruction and logic for programmable fabric hierarchy and cache
US10812831B2 (en) 2015-09-30 2020-10-20 Piksel, Inc. Video stream delivery via adaptive quality enhancement using error correction models
US11061672B2 (en) 2015-10-02 2021-07-13 Via Alliance Semiconductor Co., Ltd. Chained split execution of fused compound arithmetic operations
WO2017087568A1 (en) 2015-11-17 2017-05-26 Eman Bayani A digital image capturing device system and method
CN105488565A (zh) * 2015-11-17 2016-04-13 中国科学院计算技术研究所 加速深度神经网络算法的加速芯片的运算装置及方法
CN106814639A (zh) 2015-11-27 2017-06-09 富泰华工业（深圳）有限公司 语音控制系统及方法
CN105893419A (zh) 2015-11-30 2016-08-24 乐视致新电子科技（天津）有限公司 一种多媒体照片生成方法、装置、设备及手机
US10699186B2 (en) 2015-12-02 2020-06-30 Google Llc Determining orders of execution of a neural network
CN106991477B (zh) * 2016-01-20 2020-08-14 中科寒武纪科技股份有限公司 一种人工神经网络压缩编码装置和方法
CN111353588B (zh) 2016-01-20 2024-03-05 中科寒武纪科技股份有限公司 用于执行人工神经网络反向训练的装置和方法
CN106997236B (zh) 2016-01-25 2018-07-13 亮风台（上海）信息科技有限公司 基于多模态输入进行交互的方法和设备
US10733531B2 (en) 2016-01-27 2020-08-04 Bonsai AI, Inc. Artificial intelligence engine having an architect module
US10497089B2 (en) 2016-01-29 2019-12-03 Fotonation Limited Convolutional neural network
JP2017156511A (ja) 2016-03-01 2017-09-07 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
US10103714B2 (en) 2016-03-01 2018-10-16 Qualcomm Incorporated Adjust voltage for thermal mitigation
US10019779B2 (en) 2016-03-08 2018-07-10 Amazon Technologies, Inc. Browsing interface for item counterparts having different scales and lengths
WO2017168427A1 (en) * 2016-03-31 2017-10-05 Clear Px Technologies Ltd Temperature controlling device and system having static cooling capacity
US10552119B2 (en) 2016-04-29 2020-02-04 Intel Corporation Dynamic management of numerical representation in a distributed matrix processor architecture
CN109934331B (zh) 2016-04-29 2020-06-19 中科寒武纪科技股份有限公司 用于执行人工神经网络正向运算的装置和方法
US11055063B2 (en) 2016-05-02 2021-07-06 Marvell Asia Pte, Ltd. Systems and methods for deep learning processor
US10187568B1 (en) 2016-05-02 2019-01-22 Bao Tran Video smart phone
GB201607713D0 (en) * 2016-05-03 2016-06-15 Imagination Tech Ltd Convolutional neural network
CN105978611B (zh) 2016-05-12 2019-09-17 京信通信系统（中国）有限公司 一种频域信号压缩方法及装置
AU2016203619A1 (en) 2016-05-31 2017-12-14 Canon Kabushiki Kaisha Layer-based operations scheduling to optimise memory for CNN applications
EP3252949B1 (en) 2016-06-01 2020-03-18 Intel IP Corporation Methods and devices for predistortion of signals
US20170357910A1 (en) 2016-06-10 2017-12-14 Apple Inc. System for iteratively training an artificial intelligence using cloud-based metrics
CN107545889B (zh) 2016-06-23 2020-10-23 华为终端有限公司 适用于模式识别的模型的优化方法、装置及终端设备
CN106156310A (zh) 2016-06-30 2016-11-23 努比亚技术有限公司 一种图片处理装置和方法
US20180005111A1 (en) * 2016-06-30 2018-01-04 International Business Machines Corporation Generalized Sigmoids and Activation Function Learning
US10372588B2 (en) 2016-07-08 2019-08-06 International Business Machines Corporation Providing debug information on production containers using debug containers
DE102016214786A1 (de) 2016-08-09 2018-02-15 Fujitsu Limited Anwendungsprofiling-Jobmanagement-System, -Programm und -Verfahren
US20180046903A1 (en) 2016-08-12 2018-02-15 DeePhi Technology Co., Ltd. Deep processing unit (dpu) for implementing an artificial neural network (ann)
CN107688855B (zh) 2016-08-12 2021-04-13 赛灵思公司 针对于复杂神经网络的分层量化方法与装置
CN106354568A (zh) 2016-08-23 2017-01-25 京信通信技术(广州)有限公司 一种不同进程间的通信方法及通信装置
CN107797913A (zh) 2016-09-07 2018-03-13 大陆汽车电子（连云港）有限公司 一种实时系统的软件分析系统与方法
US20180075347A1 (en) * 2016-09-15 2018-03-15 Microsoft Technology Licensing, Llc Efficient training of neural networks
US11907760B2 (en) 2016-09-23 2024-02-20 Apple Inc. Systems and methods of memory allocation for neural networks
CN106650922B (zh) 2016-09-29 2019-05-03 清华大学 硬件神经网络转换方法、计算装置、软硬件协作系统
US20180096243A1 (en) 2016-09-30 2018-04-05 General Electric Company Deep learning for data driven feature representation and anomaly detection
US10726330B2 (en) 2016-10-11 2020-07-28 The Research Foundation For The State University Of New York System, method, and accelerator to process convolutional neural network layers
US11321609B2 (en) * 2016-10-19 2022-05-03 Samsung Electronics Co., Ltd Method and apparatus for neural network quantization
CN106485316B (zh) 2016-10-31 2019-04-02 北京百度网讯科技有限公司 神经网络模型压缩方法以及装置
CN106502626A (zh) 2016-11-03 2017-03-15 北京百度网讯科技有限公司 数据处理方法和装置
US10216479B2 (en) 2016-12-06 2019-02-26 Arm Limited Apparatus and method for performing arithmetic operations to accumulate floating-point numbers
CN106815551B (zh) * 2016-12-08 2019-09-10 新疆农业大学 一种森林资源管理的变异函数参数拟合的优化方法
CN106600070A (zh) * 2016-12-20 2017-04-26 郭建峰 基于ipso‑bp神经网络的短期股价预测算法
US10997492B2 (en) 2017-01-20 2021-05-04 Nvidia Corporation Automated methods for conversions to a lower precision data format
CN108345939B (zh) * 2017-01-25 2022-05-24 微软技术许可有限责任公司 基于定点运算的神经网络
JP7004503B2 (ja) * 2017-01-27 2022-01-21 ラピスセミコンダクタ株式会社 自動利得制御回路（ａｇｃ）、逆拡散回路及び受信データの再生方法
CN106951587A (zh) 2017-02-15 2017-07-14 芯启源（南京）半导体科技有限公司 Fpga调试系统及方法
CN106951962B (zh) 2017-03-22 2020-09-01 南京地平线机器人技术有限公司 用于神经网络的复合运算单元、方法和电子设备
US10332302B2 (en) 2017-04-17 2019-06-25 Intel Corporation Scatter gather engine
US10402932B2 (en) 2017-04-17 2019-09-03 Intel Corporation Power-based and target-based graphics quality adjustment
CN109121435A (zh) * 2017-04-19 2019-01-01 上海寒武纪信息科技有限公司 处理装置和处理方法
CN108734287A (zh) * 2017-04-21 2018-11-02 展讯通信（上海）有限公司 深度神经网络模型的压缩方法及装置、终端、存储介质
CN107025629B (zh) 2017-04-27 2021-03-26 维沃移动通信有限公司 一种图像处理方法及移动终端
KR102034661B1 (ko) * 2017-04-28 2019-10-21 서울대학교산학협력단 뉴럴네트워크를 위한 데이터 양자화 방법 및 장치
US11842280B2 (en) * 2017-05-05 2023-12-12 Nvidia Corporation Loss-scaling for deep neural network training with reduced precision
US10019668B1 (en) 2017-05-19 2018-07-10 Google Llc Scheduling neural network processing
KR102526650B1 (ko) * 2017-05-25 2023-04-27 삼성전자주식회사 뉴럴 네트워크에서 데이터를 양자화하는 방법 및 장치
CN107239826A (zh) * 2017-06-06 2017-10-10 上海兆芯集成电路有限公司 在卷积神经网络中的计算方法及装置
CN115841137A (zh) * 2017-06-06 2023-03-24 格兰菲智能科技有限公司 一种用于对待量化数据进行定点化处理的方法及计算装置
US11144828B2 (en) 2017-06-09 2021-10-12 Htc Corporation Training task optimization system, training task optimization method and non-transitory computer readable medium for operating the same
US10944902B2 (en) 2017-06-20 2021-03-09 Adobe Inc. Digital image generation using capture support data
US9916531B1 (en) 2017-06-22 2018-03-13 Intel Corporation Accumulator constrained quantization of convolutional neural networks
WO2019005088A1 (en) 2017-06-30 2019-01-03 Intel Corporation HETEROGENEOUS MULTIPLIER
CN107451654B (zh) 2017-07-05 2021-05-18 深圳市自行科技有限公司 卷积神经网络的加速运算方法、服务器及存储介质
CN109214509B (zh) 2017-07-05 2021-07-06 中国科学院沈阳自动化研究所 一种用于深度神经网络高速实时量化结构和运算实现方法
US10427306B1 (en) 2017-07-06 2019-10-01 X Development Llc Multimodal object identification
CN109284822B (zh) 2017-07-20 2021-09-21 上海寒武纪信息科技有限公司 一种神经网络运算装置及方法
CN107451658B (zh) 2017-07-24 2020-12-15 杭州菲数科技有限公司 浮点运算定点化方法及系统
CN107480770B (zh) * 2017-07-27 2020-07-28 中国科学院自动化研究所 可调节量化位宽的神经网络量化与压缩的方法及装置
CN107688849B (zh) 2017-07-28 2021-04-13 赛灵思电子科技(北京)有限公司 一种动态策略定点化训练方法及装置
CN107679618B (zh) * 2017-07-28 2021-06-11 赛灵思电子科技(北京)有限公司 一种静态策略定点化训练方法及装置
WO2019023984A1 (en) 2017-08-02 2019-02-07 Intel Corporation SYSTEM AND METHOD FOR INCLUSION OF NEURAL NETWORKS 1 AMONG N ON AN AUTOMATIC LEARNING COMPUTER PLATFORM
CN109388779A (zh) * 2017-08-03 2019-02-26 珠海全志科技股份有限公司 一种神经网络权重量化方法和神经网络权重量化装置
KR102601604B1 (ko) * 2017-08-04 2023-11-13 삼성전자주식회사 뉴럴 네트워크의 파라미터들을 양자화하는 방법 및 장치
KR20200029510A (ko) 2017-08-08 2020-03-18 삼성전자주식회사 네트워크에서 메모리 요구 사항을 결정하는 방법 및 장치
WO2019050771A1 (en) * 2017-09-05 2019-03-14 Panasonic Intellectual Property Corporation Of America EXECUTION METHOD, EXECUTION DEVICE, LEARNING METHOD, LEARNING DEVICE, AND PROGRAM FOR DEEP NEURAL NETWORK
CN107644254A (zh) * 2017-09-09 2018-01-30 复旦大学 一种卷积神经网络权重参数量化训练方法及系统
KR20190034985A (ko) * 2017-09-25 2019-04-03 삼성전자주식회사 인공 신경망의 양자화 방법 및 장치
EP3667488B1 (en) 2017-09-29 2023-06-28 Shanghai Cambricon Information Technology Co., Ltd Image processing apparatus and method
US10223114B1 (en) 2017-09-29 2019-03-05 Intel Corporation Fixed point to floating point conversion
US10224954B1 (en) 2017-09-29 2019-03-05 Intel Corporation Floating point to fixed point conversion
CN107679490B (zh) * 2017-09-29 2019-06-28 百度在线网络技术（北京）有限公司 用于检测图像质量的方法和装置
US11437032B2 (en) 2017-09-29 2022-09-06 Shanghai Cambricon Information Technology Co., Ltd Image processing apparatus and method
US11450319B2 (en) 2017-09-29 2022-09-20 Cambricon (Xi'an) Semiconductor Co., Ltd. Image processing apparatus and method
JP6540770B2 (ja) 2017-10-17 2019-07-10 富士通株式会社 演算処理回路、演算処理回路を含む演算処理装置、演算処理装置を含む情報処理装置、および方法
KR102564456B1 (ko) * 2017-10-19 2023-08-07 삼성전자주식회사 뉴럴 네트워크의 파라미터를 양자화하는 장치 및 방법
US10410121B2 (en) 2017-10-25 2019-09-10 SparkCognition, Inc. Adjusting automated neural network generation based on evaluation of candidate neural networks
US20210061028A1 (en) 2017-10-26 2021-03-04 Applied Mechatronic Products Apparatus and method for vehicular monitoring, analysis, and control
KR20190054454A (ko) * 2017-11-13 2019-05-22 삼성전자주식회사 인공 신경망의 양자화 방법 및 장치
US10783634B2 (en) 2017-11-22 2020-09-22 General Electric Company Systems and methods to deliver point of care alerts for radiological findings
US10803379B2 (en) 2017-12-12 2020-10-13 Amazon Technologies, Inc. Multi-memory on-chip computational network
CN108229681A (zh) * 2017-12-28 2018-06-29 郑州云海信息技术有限公司 一种神经网络模型压缩方法、系统、装置及可读存储介质
US11636327B2 (en) 2017-12-29 2023-04-25 Intel Corporation Machine learning sparse computation mechanism for arbitrary neural networks, arithmetic compute microarchitecture, and sparsity for training mechanism
US11373088B2 (en) 2017-12-30 2022-06-28 Intel Corporation Machine learning accelerator mechanism
CN108229663A (zh) * 2018-01-29 2018-06-29 百度在线网络技术（北京）有限公司 用于生成卷积神经网络的方法和装置
CN108288089A (zh) * 2018-01-29 2018-07-17 百度在线网络技术（北京）有限公司 用于生成卷积神经网络的方法和装置
US20190251429A1 (en) 2018-02-12 2019-08-15 Kneron, Inc. Convolution operation device and method of scaling convolution input for convolution neural network
US11630666B2 (en) 2018-02-13 2023-04-18 Shanghai Cambricon Information Technology Co., Ltd Computing device and method
US11106598B2 (en) 2018-02-13 2021-08-31 Shanghai Cambricon Information Technology Co., Ltd. Computing device and method
US11704125B2 (en) 2018-02-13 2023-07-18 Cambricon (Xi'an) Semiconductor Co., Ltd. Computing device and method
CN116991226A (zh) 2018-02-14 2023-11-03 上海寒武纪信息科技有限公司 处理器的控制装置、方法及设备
JP7056225B2 (ja) 2018-02-26 2022-04-19 富士通株式会社 演算処理装置、情報処理装置、情報処理方法、およびプログラム
US10628275B2 (en) 2018-03-07 2020-04-21 Nxp B.V. Runtime software-based self-test with mutual inter-core checking
US11475306B2 (en) 2018-03-22 2022-10-18 Amazon Technologies, Inc. Processing for multiple input data sets
CN108631727B (zh) * 2018-03-26 2019-08-09 河北工业大学 一种基于卷积神经网络的太阳能电池板缺陷识别方法
CN108491928B (zh) * 2018-03-29 2019-10-25 腾讯科技（深圳）有限公司 模型参数发送方法、装置、服务器及存储介质
CN108509627B (zh) * 2018-04-08 2021-08-31 腾讯科技（深圳）有限公司 数据离散化模型训练方法和装置、数据离散方法
US11562213B2 (en) 2018-04-17 2023-01-24 Intel Corporation Methods and arrangements to manage memory in cascaded neural networks
CN108596328B (zh) * 2018-04-26 2021-02-02 北京市商汤科技开发有限公司 一种定点化方法及装置、计算机设备
US10691413B2 (en) 2018-05-04 2020-06-23 Microsoft Technology Licensing, Llc Block floating point computations using reduced bit-width vectors
EP3624020A4 (en) 2018-05-18 2021-05-05 Shanghai Cambricon Information Technology Co., Ltd CALCULATION PROCEDURES AND RELATED PRODUCTS
CN108717570A (zh) 2018-05-23 2018-10-30 电子科技大学 一种脉冲神经网络参数量化方法
CN110554500B (zh) 2018-05-31 2022-09-16 中强光电股份有限公司 头戴式显示装置
US10360304B1 (en) 2018-06-04 2019-07-23 Imageous, Inc. Natural language processing interface-enabled building conditions control system
CN109062540B (zh) 2018-06-06 2022-11-25 北京理工大学 一种基于cordic算法的可重构浮点运算装置
CN109063820A (zh) 2018-06-07 2018-12-21 中国科学技术大学 利用时频联合长时循环神经网络的数据处理方法
CN108830331A (zh) * 2018-06-22 2018-11-16 西安交通大学 一种基于全卷积网络的探地雷达目标检测方法
CN109146057B (zh) * 2018-06-26 2020-12-08 杭州雄迈集成电路技术股份有限公司 一种基于查表计算的高精度的神经网络工程化方法
CN109102064B (zh) * 2018-06-26 2020-11-13 杭州雄迈集成电路技术股份有限公司 一种高精度的神经网络量化压缩方法
CN110728364A (zh) 2018-07-17 2020-01-24 上海寒武纪信息科技有限公司 一种运算装置和运算方法
EP3825841A1 (en) 2018-06-27 2021-05-26 Shanghai Cambricon Information Technology Co., Ltd Method and device for parallel computation of a network model
CN109002889B (zh) * 2018-07-03 2021-12-17 华南理工大学 自适应迭代式卷积神经网络模型压缩方法
CN109214504B (zh) * 2018-08-24 2020-09-04 北京邮电大学深圳研究院 一种基于fpga的yolo网络前向推理加速器设计方法
EP3757896B1 (en) 2018-08-28 2023-01-11 Cambricon Technologies Corporation Limited Method and device for pre-processing data in a neural network
US11703939B2 (en) 2018-09-28 2023-07-18 Shanghai Cambricon Information Technology Co., Ltd Signal processing device and related products
CN109472353B (zh) 2018-11-22 2020-11-03 浪潮集团有限公司 一种卷积神经网络量化电路及量化方法
CN109598331A (zh) * 2018-12-04 2019-04-09 北京芯盾时代科技有限公司 一种欺诈识别模型训练方法、欺诈识别方法及装置
CN109685202B (zh) 2018-12-17 2023-03-21 腾讯科技（深圳）有限公司 数据处理方法及装置、存储介质和电子装置
GB2580171B (en) * 2018-12-21 2021-02-17 Imagination Tech Ltd Methods and systems for selecting quantisation parameters for deep neural networks using back-propagation
CN109754074A (zh) * 2018-12-29 2019-05-14 北京中科寒武纪科技有限公司 一种神经网络量化方法、装置以及相关产品
CN111383637A (zh) 2018-12-28 2020-07-07 上海寒武纪信息科技有限公司 信号处理装置、信号处理方法及相关产品
CN109740739B (zh) * 2018-12-29 2020-04-24 中科寒武纪科技股份有限公司 神经网络计算装置、神经网络计算方法及相关产品
CN109740754B (zh) * 2018-12-29 2020-04-14 中科寒武纪科技股份有限公司 神经网络计算装置、神经网络计算方法及相关产品
CN109800865B (zh) * 2019-01-24 2021-03-23 北京市商汤科技开发有限公司 神经网络生成及图像处理方法和装置、平台、电子设备
US20190164057A1 (en) * 2019-01-30 2019-05-30 Intel Corporation Mapping and quantification of influence of neural network features for explainable artificial intelligence
CN109859135B (zh) * 2019-01-31 2021-05-07 北京邮电大学 一种应用于关联成像的图像增强处理方法
CN109800877B (zh) 2019-02-20 2022-12-30 腾讯科技（深圳）有限公司 神经网络的参数调整方法、装置及设备
CN109902745A (zh) 2019-03-01 2019-06-18 成都康乔电子有限责任公司 一种基于cnn的低精度训练与8位整型量化推理方法
CN110059733A (zh) 2019-04-01 2019-07-26 苏州科达科技股份有限公司 卷积神经网络的优化及快速目标检测方法、装置
CN109993296B (zh) 2019-04-01 2020-12-29 安徽寒武纪信息科技有限公司 量化实现方法及相关产品
CN111832737B (zh) 2019-04-18 2024-01-09 中科寒武纪科技股份有限公司 一种数据处理方法及相关产品
US11934940B2 (en) 2019-04-18 2024-03-19 Cambricon Technologies Corporation Limited AI processor simulation
US20200364552A1 (en) * 2019-05-13 2020-11-19 Baidu Usa Llc Quantization method of improving the model inference accuracy
US11531893B2 (en) * 2019-06-03 2022-12-20 Samsung Electronics Co., Ltd. Method and apparatus with neural network parameter quantization
US11676028B2 (en) * 2019-06-12 2023-06-13 Shanghai Cambricon Information Technology Co., Ltd Neural network quantization parameter determination method and related products
JP7146954B2 (ja) 2019-08-23 2022-10-04 安徽寒武紀信息科技有限公司 データ処理方法、装置、コンピュータデバイス、及び記憶媒体
US12001955B2 (en) 2019-08-23 2024-06-04 Anhui Cambricon Information Technology Co., Ltd. Data processing method, device, computer equipment and storage medium
WO2021036908A1 (zh) 2019-08-23 2021-03-04 安徽寒武纪信息科技有限公司 数据处理方法、装置、计算机设备和存储介质
JP7146953B2 (ja) 2019-08-27 2022-10-04 安徽寒武紀信息科技有限公司 データ処理方法、装置、コンピュータデバイス、及び記憶媒体
CN110780845B (zh) 2019-10-17 2021-11-30 浙江大学 一种用于量化卷积神经网络的可配置近似乘法器及其实现方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106570559A (zh) * 2015-10-09 2017-04-19 阿里巴巴集团控股有限公司 一种基于神经网络的数据处理方法和装置
US20190050710A1 (en) * 2017-08-14 2019-02-14 Midea Group Co., Ltd. Adaptive bit-width reduction for neural networks
CN108053028A (zh) * 2017-12-21 2018-05-18 深圳云天励飞技术有限公司 数据定点化处理方法、装置、电子设备及计算机存储介质
CN108510067A (zh) * 2018-04-11 2018-09-07 西安电子科技大学 基于工程化实现的卷积神经网络量化方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3998554A4 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210097397A1 (en) * 2019-09-30 2021-04-01 Fujitsu Limited Information processing apparatus and information processing method

Also Published As

Publication number Publication date
EP3998554A4 (en) 2023-11-15
CN112085186A (zh) 2020-12-15
US11675676B2 (en) 2023-06-13
CN112085189A (zh) 2020-12-15
JP2021177369A (ja) 2021-11-11
JP2021530769A (ja) 2021-11-11
CN112085193A (zh) 2020-12-15
EP3770823A4 (en) 2021-01-27
CN111652367B (zh) 2024-04-09
CN112085190A (zh) 2020-12-15
JP2021179966A (ja) 2021-11-18
KR102609719B1 (ko) 2023-12-04
KR20210018352A (ko) 2021-02-17
KR102656332B1 (ko) 2024-04-09
CN112400176A (zh) 2021-02-23
CN112085186B (zh) 2024-03-05
CN112085193B (zh) 2024-03-29
EP3772023A1 (en) 2021-02-03
JP7166704B2 (ja) 2022-11-08
CN112085185A (zh) 2020-12-15
CN111652368B (zh) 2024-03-29
CN111652367A (zh) 2020-09-11
CN112085188B (zh) 2024-04-02
CN112085183B (zh) 2024-04-02
EP3772022A1 (en) 2021-02-03
CN112085192B (zh) 2024-03-29
CN112085191A (zh) 2020-12-15
CN112085190B (zh) 2024-04-02
KR20210011462A (ko) 2021-02-01
EP3770823A1 (en) 2021-01-27
JP7167405B2 (ja) 2022-11-09
WO2020248423A1 (zh) 2020-12-17
EP3998554A1 (en) 2022-05-18
CN112085181B (zh) 2024-03-29
US20220261634A1 (en) 2022-08-18
CN112085183A (zh) 2020-12-15
CN112085185B (zh) 2024-04-02
KR20210011461A (ko) 2021-02-01
CN111652368A (zh) 2020-09-11
CN112085191B (zh) 2024-04-02
US20210286688A1 (en) 2021-09-16
CN112085192A (zh) 2020-12-15
CN112085189B (zh) 2024-03-29
CN112085184A (zh) 2020-12-15
CN112085181A (zh) 2020-12-15
CN112085184B (zh) 2024-03-29
CN112085188A (zh) 2020-12-15

Similar Documents

Publication Publication Date Title
WO2020248424A1 (zh) 一种神经网络的量化参数确定方法及相关产品
JP2021177369A5 (zh)
JP2021179966A5 (zh)
US11676028B2 (en) Neural network quantization parameter determination method and related products
WO2021036905A1 (zh) 数据处理方法、装置、计算机设备和存储介质
WO2021036908A1 (zh) 数据处理方法、装置、计算机设备和存储介质
JPWO2020248424A5 (zh)
WO2021036890A1 (zh) 数据处理方法、装置、计算机设备和存储介质
WO2021036904A1 (zh) 数据处理方法、装置、计算机设备和存储介质
WO2021022903A1 (zh) 数据处理方法、装置、计算机设备和存储介质
US20230133337A1 (en) Quantization calibration method, computing device and computer readable storage medium
WO2021036892A1 (zh) 循环神经网络的量化参数调整方法、装置及相关产品
US20220222041A1 (en) Method and apparatus for processing data, and related product

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2020573207

Country of ref document: JP

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 20207038081

Country of ref document: KR

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19932304

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2019932304

Country of ref document: EP

Effective date: 20220112