WO2020194594A1 - ニューラルネットワーク演算処理装置及びニューラルネットワーク演算処理方法 - Google Patents

ニューラルネットワーク演算処理装置及びニューラルネットワーク演算処理方法 Download PDF

Info

Publication number
WO2020194594A1
WO2020194594A1 PCT/JP2019/013327 JP2019013327W WO2020194594A1 WO 2020194594 A1 WO2020194594 A1 WO 2020194594A1 JP 2019013327 W JP2019013327 W JP 2019013327W WO 2020194594 A1 WO2020194594 A1 WO 2020194594A1
Authority
WO
WIPO (PCT)
Prior art keywords
product
sum
arithmetic
arithmetic processing
neural network
Prior art date
Application number
PCT/JP2019/013327
Other languages
English (en)
French (fr)
Inventor
慶太 須田
Original Assignee
Tdk株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tdk株式会社 filed Critical Tdk株式会社
Priority to PCT/JP2019/013327 priority Critical patent/WO2020194594A1/ja
Priority to US16/819,303 priority patent/US11681498B2/en
Publication of WO2020194594A1 publication Critical patent/WO2020194594A1/ja
Priority to US18/199,426 priority patent/US20230351150A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F7/00—Methods or arrangements for processing data by operating upon the order or content of the data handled
    • G06F7/38—Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation
    • G06F7/48—Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation using non-contact-making devices, e.g. tube, solid state device; using unspecified devices
    • G06F7/544—Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation using non-contact-making devices, e.g. tube, solid state device; using unspecified devices for evaluating functions by calculation
    • G06F7/5443—Sum of products
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F7/00—Methods or arrangements for processing data by operating upon the order or content of the data handled
    • G06F7/38—Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation
    • G06F7/48—Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation using non-contact-making devices, e.g. tube, solid state device; using unspecified devices
    • G06F7/50—Adding; Subtracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F7/00—Methods or arrangements for processing data by operating upon the order or content of the data handled
    • G06F7/38—Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation
    • G06F7/48—Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation using non-contact-making devices, e.g. tube, solid state device; using unspecified devices
    • G06F7/52—Multiplying; Dividing
    • G06F7/523—Multiplying only
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2207/00—Indexing scheme relating to methods or arrangements for processing data by operating upon the order or content of the data handled
    • G06F2207/38—Indexing scheme relating to groups G06F7/38 - G06F7/575
    • G06F2207/48—Indexing scheme relating to groups G06F7/48 - G06F7/575
    • G06F2207/4802—Special implementations
    • G06F2207/4818—Threshold devices
    • G06F2207/4824—Neural networks

Definitions

  • the present invention relates to a neural network arithmetic processing apparatus and a neural network arithmetic processing method, and more particularly to a neural network arithmetic processing apparatus that digitally performs a product-sum operation of a neural network.
  • Neural networks have been put to practical use in advanced information identification and classification technologies, including deep learning, in a wide range of fields such as finance, marketing, authentication, and security.
  • a huge amount of product-sum calculation is required due to higher functionality and the like, so it is important to speed up and improve the efficiency of the product-sum calculation.
  • Neural networks generally have higher performance as the number of layers of the neural network increases. However, as the number of layers increases, the circuit scale increases, the amount of calculation increases, and a large amount of calculation time is required. Therefore, it is necessary to configure the device while considering both the improvement of the calculation function and the performance.
  • Patent Document 1 which includes a matrix arithmetic unit to which the above is added and an auxiliary arithmetic unit that can operate in parallel with the matrix arithmetic unit and performs calculations other than matrix calculation (Patent Document 1).
  • the matrix calculation assigned to each processor element can be performed efficiently and flexibly, and a huge amount of calculation can be performed at high speed by performing the calculation in parallel by an auxiliary arithmetic unit separately provided with a calculation other than the matrix calculation. It is said that it can be processed.
  • the arithmetic processing can be completed in 3 clocks shorter than 9 clocks, but the circuit must be able to read and write multiple data at the same time, and is the same as the number in parallel.
  • the circuit scale increases because a number of arithmetic units are required.
  • the arithmetic processing can be completed in a time shorter than 9 clocks because the series of operations are sequentially performed at the timing delayed by 3 clocks by using the registers between the layers. Since it can be executed by one arithmetic unit, an increase in the circuit scale can be suppressed. However, in order to realize further speedup, it is necessary to carefully design the time, which is complicated. In addition, since an enormous amount of calculation is performed in an actual neural network calculation, it is necessary to efficiently combine parallelization and pipeline formation, and design the circuit so as to realize high-speed calculation while suppressing the circuit scale. However, it is not enough because it is limited to efficiency improvement within the layer.
  • An object of the present invention is a neural network operation capable of realizing further speedup and efficiency of the product-sum operation, suppressing an increase in the circuit scale, and further performing the product-sum operation with a simple design. It is an object of the present invention to provide a processing apparatus and a neural network arithmetic processing method.
  • the present invention provides the following means.
  • the first product-sum calculation unit is A first memory that stores multiple first input variables, A second memory that stores a plurality of first weight data, and One or more first multipliers that calculate a plurality of products of the first input variable and the first weight data, and One or more first adders that calculate a plurality of sums of the products multiplied by the first or more first multipliers, and It has one or more first output units that output a plurality of the sums added by the one or more first adders to the register as a plurality of second input variables.
  • the second product-sum calculator is A third memory that stores a plurality of second weight data, and One or more second multipliers that calculate a plurality of products of the second weight data and the second input variable held in the register, and One or more second adders that calculate a plurality of sums of the products multiplied by the first or more second multipliers, and It has one or more second output units that output a plurality of the sums added by the one or more second adders as a plurality of output values.
  • Neural network arithmetic processing unit is A third memory that stores a plurality of second weight data, and One or more second multipliers that calculate a plurality of products of the second weight data and the second input variable held in the register, and One or more second adders that calculate a plurality of sums of the products multiplied by the first or more second multipliers, and It has one or more second output units that output a plurality of the sums added by the one or more second adders as a plurality of output values.
  • the number of operations constituting the arithmetic processing P1 executed by the first multiply-accumulate arithmetic unit 10 is (n + 1) (n is an integer of 0 or more), and the arithmetic is executed by the second product-sum arithmetic unit.
  • the number of operations constituting the process P2 is (q + 1) (q is an integer of 0 or more)
  • the parallel number L1 of the arithmetic processing P1 executed by the first multiply-accumulate arithmetic unit is a divisor of the arithmetic number (n + 1), and is the parallel number of the arithmetic processing P2 executed by the second product-sum arithmetic unit.
  • Both the number of pipelines C1 constituting the arithmetic processing P1 and the number of pipelines C2 constituting the arithmetic processing P2 are the greatest common divisors of the arithmetic number (n + 1) and the arithmetic operation number (q + 1).
  • the neural network arithmetic processing unit according to the above [3].
  • each of the second memory and the third memory is a ring buffer memory.
  • One or more activation functions calculated by using an activation function between the first product-sum calculation unit and the register and at least one of the register and the second product-sum calculation unit.
  • the first multiplier of one or more is a plurality of first multipliers.
  • the neural network arithmetic processing unit according to any one of [2] to [7] above, wherein the one or more first adders are a plurality of first adders.
  • the one or more second product-sum calculation units are a plurality of the second product-sum calculation units.
  • the neural network arithmetic processing unit according to any one of the above [2] to [8], wherein the plurality of the second product-sum arithmetic units operate in parallel with the one or more first product-sum arithmetic units.
  • the one or more first product-sum calculation units are a plurality of the first product-sum calculation units.
  • the neural network arithmetic processing unit according to any one of the above [2] to [8], wherein the plurality of first product-sum arithmetic units operate in parallel with the one or more second product-sum arithmetic units.
  • the one or more first product-sum calculation units are a plurality of the first product-sum calculation units.
  • the one or more second product-sum calculation units are a plurality of the second product-sum calculation units.
  • the neural network arithmetic processing unit according to any one of [2] to [8], wherein the plurality of first product-sum arithmetic units operate in parallel with the plurality of second product-sum arithmetic units.
  • a neural network arithmetic processing method in which at least a part of the arithmetic processing executed in the second arithmetic step is executed in parallel with the arithmetic processing executed in the first arithmetic step.
  • a processing device and a neural network arithmetic processing method can be provided.
  • FIG. 1 is a schematic diagram schematically showing an example of the configuration of the neural network arithmetic processing apparatus according to the embodiment of the present invention.
  • FIG. 2A is a schematic diagram showing an example of the configuration of a neural network to which the neural network arithmetic processing apparatus of FIG. 1 is applied, and FIG. 2B is a first product-sum operation of FIG. 2A.
  • FIG. 2C is the figure which shows the operation of the 2nd product sum arithmetic unit of FIG. 2A.
  • FIG. 3A is a diagram showing a signal flow in the first stage in the neural network of FIG. 2, and FIG. 3B is an operation of the first multiply-accumulate calculator in the flow of FIG. 3A.
  • FIG. 3 (c) is a diagram showing the operation of the second multiply-accumulate calculator in the flow of FIG. 3 (a).
  • FIG. 4A is a diagram showing a signal flow in the second stage in the neural network of FIG. 2
  • FIG. 4B is an operation of the first product-sum calculator in the flow of FIG. 4A.
  • 4 (c) is a diagram showing the operation of the second multiply-accumulate calculator in the flow of FIG. 4 (a).
  • 5 (a) is a diagram showing a signal flow in the third stage in the neural network of FIG. 2
  • FIG. 3 (b) is an operation of the first product-sum calculator in the flow of FIG. 3 (a).
  • 3 (c) is a diagram showing the operation of the second multiply-accumulate calculator in the flow of FIG. 3 (a).
  • FIG. 6A is a diagram showing a signal flow in the fourth stage in the neural network of FIG. 2, and FIG. 6B is an operation of the first product-sum calculator in the flow of FIG. 6A.
  • 6 (c) is a diagram showing the operation of the second multiply-accumulate calculator in the flow of FIG. 6 (a).
  • FIG. 7 (a) is a diagram showing a signal flow in the fifth stage in the neural network of FIG. 2, and FIG. 7 (b) is an operation of the first product-sum calculator in the flow of FIG. 7 (a).
  • 7 (c) is a diagram showing the operation of the second multiply-accumulate calculator in the flow of FIG. 7 (a).
  • FIG. 8 is a diagram showing an example of a time chart of the arithmetic processing executed by the first multiply-accumulate arithmetic unit and the arithmetic processing executed by the second product-sum arithmetic unit in FIG.
  • FIG. 9 shows an example of the number of parallels and pipelines of arithmetic processing executed by the first multiply-accumulate arithmetic unit and the number of parallels and pipelines of arithmetic processing executed by the second product-sum arithmetic unit in FIG. 9 (b) is a schematic diagram showing a modified example of a time chart of the arithmetic processing of the first multiply-accumulate calculator and the arithmetic processing of the second product-sum calculator in FIG. 9 (a). .. FIG.
  • FIG. 10 is a schematic diagram schematically showing a modified example of the configuration of the neural network arithmetic processing apparatus of FIG.
  • FIG. 11 is a flowchart showing an example of a neural network calculation processing method executed by the neural network calculation processing device of FIG.
  • FIG. 12 is a schematic diagram schematically showing another modification of the configuration of the neural network arithmetic processing apparatus of FIG. 1.
  • FIG. 13 is a schematic diagram schematically showing a modified example of the configuration of the first product-sum calculation unit and the second product-sum calculation unit in FIG.
  • FIG. 14 is a schematic diagram schematically showing a modified example of the configuration of the neural network arithmetic processing apparatus of FIG.
  • FIG. 1 is a schematic diagram schematically showing an example of the configuration of the neural network arithmetic processing apparatus according to the embodiment of the present invention.
  • the neural network arithmetic processing unit 1 includes a first multiply-accumulate arithmetic unit 10, a register 20 connected to the first product-sum arithmetic unit 10, and a second product-sum operation connected to the register 20. It is equipped with a vessel 30.
  • the first product-sum calculator 10 includes a first memory 11 that stores a plurality of first input variables, a second memory 12 that stores a plurality of first weight data, the first input variable, and the first weight data.
  • the first multiplier 13 that calculates a plurality of products of the above
  • the first adder 14 that calculates the sum of a plurality of products multiplied by the first multiplier 13, and the above sum added by the first adder 14. It has a first output unit 15 that outputs a plurality of the above to the register 20 as a plurality of second input variables.
  • the first product-sum calculation unit 10 constitutes a digital product-sum calculation circuit.
  • the first memory 11 stores a plurality of first input variables x 0 , x 1 , x 2 , ... X n (n is an integer of 0 or more), and a plurality of first products are calculated by the first product-sum calculator 10.
  • the input variables x 0 , x 1 , x 2 , ... x n are read out.
  • the first memory 11 stores, for example, a plurality of first input variables x 0 , x 1 , x 2 , ... X n as a matrix A (n-dimensional column vector) of (n + 1) rows and 1 column.
  • the first memory 11 may be composed of a ring buffer memory.
  • the first multiply-accumulate arithmetic unit 10 can be easily configured by configuring the first memory 11 with a ring buffer memory. Further, the first memory 11 can be configured to write and store data other than the first input variable.
  • the second memory 12 stores a plurality of first weight data ⁇ 00 , ⁇ 01 , ⁇ 02 , ... ⁇ mn (m is an integer of 0 or more), and the first product-sum arithmetic unit 10 stores a plurality of first weight data.
  • the weight data ⁇ 00 , ⁇ 01 , ⁇ 02 , ... ⁇ mn are read out.
  • the second memory 12, for example, stores a plurality of first weight data as a matrix B of (m + 1) rows (n + 1) columns. Further, the second memory 12 can be configured to write and store data other than the first weight data.
  • the second memory 12 may be composed of a ring buffer memory. Since the memory for storing the first weight data does not require random accessibility, the first product-sum calculator 10 can be easily configured by configuring the second memory 12 with a ring buffer memory.
  • the first multiply-accumulate calculator 10 includes a first memory 11 and a second memory 12, but the present invention is not limited to this, and the first memory 11 and the second memory 12 are replaced with the above-mentioned plurality. It may include one memory for storing the first input variable and the plurality of first weight data. By sharing one memory, an increase in circuit scale can be suppressed.
  • the first multiplier 13 includes x i of the first input variables x 0 , x 1 , x 2 , ... x n , and ⁇ of the first weight data ⁇ 00 , ⁇ 01 , ⁇ 02 , ... ⁇ mn. Taking jk as an input, the product of these ⁇ jk x i is output.
  • the first multiplier 13 is composed of a digital multiplier.
  • the first adder 14 a plurality of product omega jk x i multiplied by the first multiplier 13 as inputs, the sum ⁇ jk x i of the plurality of product omega jk x i second input variable i 0, i 1 , i 2, ... i m ( m is an integer of 0 or more) is output as.
  • the first adder 14 is composed of a digital adder.
  • the operation of the first multiplier 13 and the first adder 14 can be represented by, for example, the product BA of the matrix B in the (m + 1) row (n + 1) column and the matrix A in the (n + 1) row 1 column.
  • a plurality of output from the first adder 14 the second input variable i 0, i 1, i 2, is ... i m, expressed as a matrix C of (m + 1) rows and one column.
  • the register 20 holds a plurality of the sums output from the first output unit 15 of the first product-sum arithmetic unit 10 as a plurality of second input variables. Further, the register 20 outputs the plurality of second input variables to the second multiply-accumulate calculator 30.
  • the second product-sum calculator 30 includes an input unit 31 into which the plurality of second input variables output from the register 20 are input, a third memory 32 storing a plurality of second weight data, and second weight data.
  • the second adders 34-1 and 34-2 that calculate the plurality of sums of the above and the plurality of the sums added by the second adders 34-1 and 34-2, respectively, are output as a plurality of output values. It has two output units 35-1, 35-2.
  • the second product-sum calculation unit 30 constitutes a digital product-sum calculation circuit like the first product-sum calculation unit 10.
  • the third memory 32 stores a plurality of second weight data w 00 , w 01 , w 02 , ... w pq (both p and q are integers of 0 or more), and a plurality of them are stored by the second multiply-accumulate calculator 30. Second weight data w 00 , w 01 , w 02 , ... w pq is read.
  • the third memory 32 may be composed of a ring buffer memory. Since the memory for storing the second weight data does not require random accessibility, the second multiply-accumulate calculator 30 can be easily configured by configuring the third memory 32 with a ring buffer memory.
  • Second multiplier 33-1 a plurality of second input variable i 0, i 1, i 2 , ... i and i i of m, second weight data w 00, w 01, w 02 , ... w pq Of these, w jk is used as an input, and the product w jk i i is output.
  • the second multiplier 33-1 is composed of a digital multiplier. Since the second multiplier 33-2 has the same configuration as the second multiplier 33-1, the description thereof will be omitted. In the present embodiment, the second multiply-accumulate unit 30 has two second multipliers 33-1 and 33-2, but is not limited to this, and has one second multiplier. May be good.
  • the second adder 34-1 a plurality of products w jk i i multiplied by the second multiplier 33-1 as an input, a plurality of products w jk i i sum? W jk i i a plurality of output values y of Output as 0 , y 1 , y 2 , ... y p .
  • a p m-1
  • q m
  • a plurality of products w jk i i sum? W jk i i a plurality of output values y 0 of, y 1, y 2, ... y m-1 (m is It is output as an integer greater than or equal to 0).
  • the second adder 34-1 is composed of a digital adder. Since the second adder 34-2 has the same configuration as the second adder 34-1, the description thereof will be omitted. In the present embodiment, the second multiply-accumulate unit 30 has two second adders 34-1 and 34-2, but is not limited to this, and has one second adder. May be good.
  • the second output unit 35-1 outputs a plurality of output values y 0 , y 1 , y 2 , ... y p to the outside. Since the second output unit 35-2 has the same configuration as the second output unit 35-1, the description thereof will be omitted. In the present embodiment, the second multiply-accumulate unit 30 has two second output units 35-1, 35-2, but is not limited to this, and has one second output unit. May be good.
  • the second adder 34- The plurality of output values y 0 , y 1 , y 2 , ... y m-1 output from 1,34-2 are represented as a matrix E of m rows and 1 column.
  • the second multiply-accumulate unit 30 includes two second multipliers 33-1 and 33-2, a second adder 34-1 and 34-2, and two second output units 35-1, It has 35-2, but is not limited to this, and may have one second multiplier, one second adder, and one second output unit.
  • FIG. 2A is a schematic diagram showing an example of the configuration of the neural network 40 to which the neural network arithmetic processing apparatus 1 of FIG. 1 is applied.
  • the neural network 40 is a first product that performs operations between the input layer 41, the hidden layer 42 (also referred to as an intermediate layer), the output layer 43, and the input layer 41 and the hidden layer 42. It includes a sum calculator 10 and a second product sum calculator 30 that performs calculations between the hidden layer 42 and the output layer 43.
  • the input layer 41 includes, for example, five nodes 41A, 41B, 41C, 41D, 41E.
  • Five first input variables x 0 , x 1 , x 2 , x 3 , x 4 are given to the five nodes 41A, 41B, 41C, 41D, and 41E of the input layer 41, respectively.
  • the hidden layer 42 includes, for example, four nodes 42A, 42B, 42C, 42D.
  • the four nodes 42A, 42B, 42C, and 42D of the hidden layer 42 are given four second input variables i 0 , i 1 , i 2 , and i 3 , respectively.
  • the four second input variables i 0 , i 1 , i 2 , and i 3 are represented by a matrix C of 4 rows and 1 column, and 20 first weight data ⁇ 00. It is calculated by the product BA of the 4 rows and 5 columns matrix B representing ⁇ ⁇ 34 and the 5 rows and 1 column matrix A representing the five first input variables x 0 to x 4 .
  • the hidden layer 42 is composed of a single layer, but the present invention is not limited to this, and the hidden layer 42 may be composed of a plurality of layers.
  • the output layer 43 includes, for example, three nodes 43A, 43B, 43C.
  • three output values y 0 , y 1 , and y 2 are given to the three nodes 43A, 43B, and 43C of the output layer 43, respectively.
  • the three output values y 0 , y 1 , and y 2 are represented by a matrix E of 3 rows and 1 column, and represent 12 second weight data w 00 to w 23 . It is calculated by the product DC of the matrix D of 3 rows and 4 columns and the matrix C of 4 rows and 1 column representing the four second input variables i 0 to i 3 .
  • the second multiply-accumulate calculator 30 is at least a part of the arithmetic processing executed by the second multipliers 33-1 and 33-2 and the second adders 34-1 and 34-2. Is executed in parallel with the arithmetic processing executed by the first multiplier 13 and the first adder 14 of the first product-sum arithmetic unit 10.
  • the first multiply-accumulate calculator 10 has five first weight data ⁇ 00 to ⁇ 04 and 5 in the hidden layer 42.
  • the second input variable i 0 is calculated from the first input variables x 0 to x 4 .
  • the first multiply-accumulate calculator 10 has five first weight data ⁇ 10 to ⁇ 14 and five first inputs in the hidden layer 42.
  • the second input variable i 1 is calculated from the variables x 0 to x 4 , and as shown in FIG.
  • the second multiply-accumulate calculator 30 has four second weight data w 00 , w 10 , From w 20 and the second input variable i 0 , the products w 00 i 0, w 10 i 0 , and w 20 i 0 are calculated.
  • the first multiply-accumulate calculator 10 has five first weight data ⁇ 20 to ⁇ 24 and five first input variables in the hidden layer 42.
  • the second input variable i 2 is calculated from x 0 to x 4
  • the second multiply-accumulate calculator 30 has four second weight data w 01 , w 11 , w. From 21 and the second input variable i 1 , the products w 01 i 1, w 11 i 1 , and w 21 i 1 are calculated.
  • the first multiply-accumulate calculator 10 has five first weight data ⁇ 30 to ⁇ 34 and five first weight data in the hidden layer 42. to calculate from the input variables x 0 ⁇ x 4 second input variable i 3, as shown in FIG. 6 (c), the second sum-of-products arithmetic unit 30, four second weight data w 02, w 12 , W 22 and the second input variable i 2 , the products w 02 i 2, w 12 i 2 , and w 22 i 2 are calculated.
  • the second multiply-accumulate calculator 30 is derived from the four second weight data w 03 , w 13 , w 23 and the second input variable i 3. , These products w 03 i 3, w 13 i 3 , and w 23 i 3 are calculated. As a result, three output values y 0 , y 1 , and y 2 are obtained.
  • the arithmetic processing of the first multiply-accumulate arithmetic unit 10 and the arithmetic processing of the second product-sum arithmetic unit 30 proceed at the same time, so that the second input variable i 0 to the first product-sum arithmetic unit 10 output value y 0 ⁇ y 2 from the processing is started for i 3 is shortened the time to be obtained.
  • the second product-sum calculator 30 executes the arithmetic processing of the output values y 0 to y 2 after the arithmetic processing of the second input variables i 0 to i 3 is completed in the first product-sum calculator 10.
  • the time required for arithmetic processing is greatly reduced.
  • FIG. 8 is a diagram showing an example of a time chart of the arithmetic processing executed by the first product-sum arithmetic unit 10 and the arithmetic processing executed by the second product-sum arithmetic unit 30 in FIG.
  • the arithmetic processing executed by the first multiply-accumulate arithmetic unit 10 is divided into the first stage to the (m + 1) stage, and a plurality of arithmetic processings P1A (1), P1A (2), ... P1A are performed in each stage. It is assumed that (n + 1) (n is an integer of 0 or more) is executed.
  • the arithmetic processing executed by the second multiply-accumulate arithmetic unit 30 is divided into the first stage to the first (p + 1) stage, and a plurality of arithmetic processings P2A (1), P2A (2), ... P2A (q + 1) are performed in each stage. It is assumed that (q is an integer greater than or equal to 0) is executed.
  • the arithmetic processing P2A (1) executed by the second multiply-accumulate arithmetic unit 30 is in parallel with the processing time T1A (2) of the arithmetic processing P1A (2) executed by the first product-sum arithmetic unit 10. Will be executed.
  • the arithmetic processing P2A (2) executed by the second product-sum arithmetic unit 30 is executed in parallel with the arithmetic processing P1A (3) executed by the first product-sum arithmetic unit 10.
  • the arithmetic processing P2A (i) executed by the second multiply-accumulate arithmetic unit 30 is executed in parallel with the arithmetic processing P1A (i + 1) executed by the first product-sum arithmetic unit 10.
  • the arithmetic processing P2A (i) executed by the second multiply-accumulate arithmetic unit 30 is started at the same time as the arithmetic processing P1A (i + 1) executed by the first product-sum arithmetic unit 10. Further, the time T2A (i) required for the arithmetic processing P2A executed by the second multiply-accumulate arithmetic unit 30 is shorter than the time T1A (i + 1) required for the arithmetic processing P1A executed by the first product-sum arithmetic unit 10. Therefore, the arithmetic processing P2A (i) executed by the second multiply-accumulate arithmetic unit 30 ends before the arithmetic processing P1A (i + 1) executed by the first product-sum arithmetic unit 10 ends.
  • the entire processing time T2A (i) of the arithmetic processing P2A (i) executed by the second multiply-accumulate arithmetic unit 30 is the arithmetic processing P1A (calculated by the first product-sum arithmetic unit 10). It overlaps with a part of the processing time T1A (i + 1) of i + 1).
  • the arithmetic processing P2A (i) executed by the second multiply-accumulate arithmetic unit 30 may overlap with at least a part of the arithmetic processing P1A (i + 1) executed by the first product-sum arithmetic unit 10. Further, the arithmetic processing P2A (i) executed by the second multiply-accumulate arithmetic unit 30 does not have to be started at the same time as the arithmetic processing P1A (i + 1) executed by the first product-sum arithmetic unit 10, and the arithmetic processing P1A It may be started before (i + 1) is started, or it may be started after the arithmetic processing P1A (i + 1) is started.
  • FIG. 9A shows an example of the number of parallels and the number of pipelines of the arithmetic processing P1 executed by the first product-sum arithmetic unit 10 in FIG. 2 and the arithmetic processing P2 executed by the second product-sum arithmetic unit 30. It is a schematic diagram which shows an example of the number of parallels and the number of pipelines.
  • FIG. 9B is a diagram showing a modified example of the time chart of the arithmetic processing P1 of the first product-sum arithmetic unit 10 and the arithmetic processing P2 of the second product-sum arithmetic unit 30 in FIG. 9A.
  • the number of operations constituting the arithmetic processing P1B executed by the first product-sum arithmetic unit 10 is (n + 1) (n is an integer of 0 or more), and the second product-sum arithmetic unit
  • the number of operations constituting the arithmetic processing P2B executed by 30 is (q + 1) (q is an integer of 0 or more)
  • the parallel number L1 of the arithmetic processing P1B executed by the first product-sum arithmetic unit 10 is an arithmetic operation.
  • the parallel number L2 of the arithmetic processing P2B executed by the second product-sum arithmetic unit 30 is preferably a divisor of the arithmetic number (q + 1).
  • the parallel number L1 of the arithmetic processing P1B is set to 49 and the parallel number L2 of the arithmetic processing P2B is set to 16. can do.
  • both the number of pipelines C1 constituting the arithmetic processing P1B and the number of pipelines C2 constituting the arithmetic processing P2B are It is preferably the greatest common divisor of the number of operations (n + 1) and the number of operations (q + 1).
  • the timing at which the arithmetic processing P2B (i) executed by the second product-sum arithmetic unit 30 ends is the same as the timing at which the arithmetic processing P1B (i + 1) executed by the first product-sum arithmetic unit 10 ends. It is preferable to adjust as such.
  • the processing time T2B (1) of the arithmetic processing P2B (1) can be set to be the same as the processing time T1B (2) of the arithmetic processing P1B (2).
  • the processing time T2B (i) of the arithmetic processing P2B (i) can be set to be the same as the processing time T1B (i + 1) of the arithmetic processing P1B (i + 1).
  • the efficiency of the arithmetic processing P1B executed by the first product-sum arithmetic unit 10 and the arithmetic processing P2B executed by the second product-sum arithmetic unit 30 can be maximized, and the increase in the circuit scale is further suppressed.
  • the neural network arithmetic processing apparatus 1 calculates a plurality of products ⁇ jk x i of the first input variable x i and the first weight data ⁇ jk, and at the same time, the product ⁇ jk x i calculates a plurality of sums Shigumaomega jk x i (first calculation step), a plurality of the sum Shigumaomega jk x i calculated at the first calculation step, a plurality of second input variable i 0, i 1 , i 2, is held as ... i m (holding step).
  • a plurality of sums ⁇ w jk i i calculated in the second calculation step are output as a plurality of output values y 0 , y 1 , y 2 , ... y p (second output step). Then, at least a part of the arithmetic processing executed in the second arithmetic process is executed in parallel with the arithmetic processing executed in the first arithmetic process.
  • FIG. 10 is a schematic diagram schematically showing a modified example of the configuration of the neural network arithmetic processing device 1 of FIG. This modification is different from the above embodiment in that the control signal transmission unit is provided in both the first product-sum calculation unit and the second product-sum calculation unit.
  • the same configurations as those in the above embodiment are designated by the same reference numerals as those in the above embodiment, the description thereof will be omitted, and the different parts will be described below.
  • the first product-sum calculator 10 transmits the first control signal S1 to the second product-sum calculator 30 and receives the second control signal S2 from the second product-sum calculator 30.
  • a first signal transmission / reception unit 16 for transmitting the third control signal S3 and a signal transmission unit 17 for transmitting the third control signal S3 to the register 20 are further provided.
  • the second product-sum calculation unit 30 transmits the second control signal S2 to the second product-sum calculation unit 30, and also receives the first control signal S1 from the first product-sum calculation unit 10. Is further equipped.
  • the first signal transmission / reception unit 16 sends a second control signal S1 for notifying that the arithmetic processing of the first product-sum arithmetic unit 10 is completed when the arithmetic processing of the first product-sum arithmetic unit 10 is completed. It is transmitted to the product-sum calculator 30.
  • the signal transmission unit 17 transmits to the register 20 the first control signal S3 notifying that the arithmetic processing of the first product-sum arithmetic unit 10 is completed. To do.
  • the first product-sum calculator 10 has a first signal transmission / reception unit 16 and a signal transmission unit 17, but the present invention is not limited to this, and the first control signal S1 is the second product-sum calculator 30. It may have one signal transmission / reception unit that receives the second control signal S2 from the second multiply-accumulate calculator 30 and transmits the third control signal S3 to the register 20.
  • the second signal transmission / reception unit 36 sends a first control signal S2 for notifying that the arithmetic processing of the second product-sum arithmetic unit 30 is completed when the arithmetic processing of the second product-sum arithmetic unit 30 is completed. It is transmitted to the product-sum calculator 10.
  • FIG. 11 is a flowchart showing an example of a neural network arithmetic processing method executed by the neural network arithmetic processing unit 1 of FIG.
  • the neural network arithmetic processing unit 1 sets the second control signal S2 to 1
  • the second product-sum arithmetic unit 30 transmits the second control signal S2 to the first product-sum arithmetic unit 10.
  • the neural network arithmetic processing device 1 sets the first control signal S1 to 0 and sets the third control signal S3 to 0 (step S2).
  • the first sum-of-products arithmetic unit 10 executes the above-described processing P1A (1) (step S3), and calculates the sum ⁇ 0k x i of the plurality of product omega 0k x i as second input variable i 0 Then, the arithmetic processing P1A (1) ends (step S4).
  • the neural network arithmetic processing device 1 sets the third control signal S3 to 1, and the first product-sum arithmetic unit 10 transmits the third control signal S3 to the second product-sum arithmetic unit 30 (step S5). ..
  • the first product-sum arithmetic unit 10 transmits the second input variable i 0 obtained by the arithmetic processing P1A (1) to the register 20 via the first output unit 15.
  • the neural network arithmetic processing unit 1 holds the arithmetic result (second input variable i 0 ) output from the first output unit 15 of the first product-sum arithmetic unit 10 in the register 20 (step S6).
  • the neural network arithmetic processing device 1 sets the first control signal S1 to 1, and the first product-sum arithmetic unit 10 transmits the first control signal S1 to the second product-sum arithmetic unit 30 (step S7). ). After that, the neural network arithmetic processing device 1 determines whether or not the second control signal S2 is set to 1 (step S8), and when the second control signal S2 is set to 1, steps S2 and The process proceeds to step S9.
  • the neural network arithmetic processing device 1 sets the first control signal S1 to 0, sets the third control signal S3 to 0 (step S2), and further sets the second control signal S2 to 0 (step S2). Step S9).
  • the first product-sum arithmetic unit 10 executes the above-described arithmetic processing P1A (2) (step S3), and calculates the sum ⁇ 1k x i of the plurality of products x i ⁇ 1k as the second input variable i 1. To do.
  • the second product-sum arithmetic unit 30 executes the above-mentioned arithmetic processing P2A (1) in parallel with the above-mentioned arithmetic processing of the first product-sum arithmetic unit 10 (step S10), and the products w j0 i 0 , w.
  • a plurality of j0 i 2 , w j0 i 3 , ... w p0 i 0 are calculated, and the arithmetic processing P2A (1) ends (step S11).
  • the neural network arithmetic processing unit 1 sets the second control signal S2 to 1, and the second product-sum arithmetic unit 30 transmits the second control signal S2 to the first product-sum arithmetic unit 10 (step S12). ..
  • the neural network processing unit 1 repeats the above processing, the first sum-of-products arithmetic unit 10 sequentially, a second input variable i 2, i 3, i 4, calculates a ... i m, the second product OR calculator 30 is also in parallel with the processing of the first sum-of-products arithmetic unit 10 sequentially product w j1 i 1, w j2 i 2, w j3 i 3, ... calculates a plurality of w pq i m.
  • the second input variable i m When the calculation of the second input variable i m is completed, a plurality of products w 0k i i the sum?
  • the product-sum calculation can be performed by performing parallel calculation over two layers, the hidden layer 42 and the output layer 43, using the first control signal S1, the second control signal S2, and the third control signal. It is possible to realize high speed and high efficiency, suppress an increase in circuit scale, and perform product-sum calculation with a simple design.
  • FIG. 12 is a schematic diagram schematically showing another modification of the configuration of the neural network arithmetic processing apparatus 1 of FIG.
  • the neural network arithmetic processing unit 1 further includes an activation function arithmetic processing unit 50 that performs an operation using an activation function between the register 20 and the second product-sum arithmetic unit 30. May be good.
  • Activation function processing unit 50 for example, a second input variable i 2, i 3, i 4 , ... a i m as inputs, the calculation result of the activation function f (i), the second sum-of-products arithmetic unit 30 Output to.
  • the activation function f (i) is, for example, a logistic sigmoid function, a hyperbolic rectifier function, a ReLU function, or an identity function.
  • the neural network arithmetic processing unit 1 may include an activation function arithmetic processing unit between the first product-sum arithmetic unit 10 and the register 20.
  • the activation function calculation processing unit may be provided both between the first product-sum calculation unit 10 and the register and between the register 20 and the second product-sum calculation unit 30.
  • the activation function arithmetic processing unit 50 can execute the highly accurate arithmetic processing by calculating the activation function f (i) using the second input variable i i .
  • FIG. 13 is a schematic diagram schematically showing a modified example of the configuration of the first product-sum calculation unit 10 and the second product-sum calculation unit 30 in FIG.
  • the first product-sum calculator 10 includes the first multipliers 13-1 and 13-2 that calculate a plurality of products of the first input variable and the first weight data, and two first multipliers. 1
  • the first adders 14-1 and 14-2 for calculating a plurality of sums of products multiplied by the multipliers 13-1 and 13-2 may be provided.
  • the first multiply-accumulate unit 10 since the first multiply-accumulate unit 10 includes a plurality of first multipliers, it is possible to increase the number of routes to which the first memory 11 or the second memory 12 and the first multiplier are connected. it can. Further, the amount of data for reading the first input variable from the first memory 11 at one time can be increased, and the amount of data for reading the first weight data from the second memory 12 at one time can be increased. Therefore, the arithmetic processing can be executed more efficiently.
  • FIG. 14 is a schematic diagram schematically showing a modified example of the configuration of the neural network arithmetic processing apparatus 1 of FIG.
  • the neural network arithmetic processing unit 1 has registers 20 connected to the first multiply-accumulate arithmetic units 10-1 and 10-2 and the first product-sum arithmetic units 10-1 and 10-2, respectively.
  • -1,20-2 and second multiply-accumulate arithmetic units 30-1 and 30-2 connected to registers 20-1 and 20-2 may be provided.
  • the first multiply-accumulate calculator 10-1 includes a first memory 11-1, a second memory 12-1, a first multiplier 13-1, 13-2, a first adder 14-1, 14-2, and a first. It includes one output unit 15-1, a first signal transmission / reception unit 16-1, and a signal transmission unit 17-1.
  • the first product-sum calculator 10-2 includes a first memory 11-2, a second memory 12-2, a first multiplier 13-3, 13-4, and a first adder 14-3, 14-4. , A first output unit 15-2, a first signal transmission / reception unit 16-2, and a signal transmission unit 17-2.
  • the second multiply-accumulate calculator 30-1 includes an input unit 31-1, a third memory 32-1, a second multiplier 33-1, 33-2, a second adder 34-1, 34-2, and a second. It includes output units 35-1, 35-2 and a second signal transmission / reception unit 36-1.
  • the second multiply-accumulate unit 30-2 includes an input unit 31-2, a third memory 32-2, a second multiplier 33-3, 33-4, and a second adder 34-3, 34-4.
  • a second output unit 35-3, 35-4 and a second signal transmission / reception unit 36-2 are provided.
  • the neural network arithmetic processing unit 1 has a control signal between the first product-sum arithmetic unit 10-1 and the register 20-1 and between the first product-sum arithmetic unit 10-2 and the register 20-2.
  • a repeater 60 can be further provided.
  • the control signal repeater 60 receives, for example, the first control signal S1 transmitted from the first product-sum calculator 10-1, and the first control signal S1 is sent to the second product-sum calculator 30-1, Send to either or both of 30-2.
  • the control signal repeater 60 receives the first control signal S1 transmitted from the first product-sum calculator 10-2, and also receives the first control signal S1 from the second product-sum calculator 30-1, Send to either or both of 30-2.
  • control signal repeater 60 receives, for example, the second control signal S2 transmitted from the second product-sum calculator 30-1, and the second control signal S2 is sent to the first product-sum calculator 10-. Send to either or both of 1,10-2. Further, the control signal repeater 60 receives the second control signal S2 transmitted from the second product-sum calculator 30-2, and also receives the second control signal S2 from the first product-sum calculator 10-1, Send to either or both of 10-2.
  • control signal repeater 60 receives, for example, the third control signal S3 transmitted from the first product-sum calculator 10-1 and / or the first product-sum calculator 10-2, and the third control.
  • the signal S3 is transmitted to register 20-1 and / or register 20-2.
  • the neural network arithmetic processing unit 1 since the neural network arithmetic processing unit 1 includes a plurality of first product-sum arithmetic units, a plurality of registers, and a plurality of second product-sum arithmetic units, the arithmetic processing can be executed more efficiently. Can be done.
  • a program for realizing the functions of each device is recorded on a computer-readable recording medium (storage medium), and the recording medium is used. Processing may be performed by loading the recorded program into a computer system and executing it.
  • the term "computer system” as used herein may include hardware such as an operating system (OS: Operating System) or peripheral devices.
  • the "computer-readable recording medium” includes a flexible disk, a magneto-optical disk, a ROM (Read Only Memory), a writable non-volatile memory such as a flash memory, and a portable medium such as a DVD (Digital Versaille Disc).
  • a storage device such as a hard disk built into a computer system.
  • the recording medium may be, for example, a recording medium for temporarily recording data.
  • the "computer-readable recording medium” is a volatile memory (for example, DRAM (for example, DRAM) inside a computer system that serves as a server or client when a program is transmitted via a network such as the Internet or a communication line such as a telephone line. It also includes those that hold the program for a certain period of time, such as Dynamic Random Access Memory)). Further, the above program may be transmitted from a computer system in which this program is stored in a storage device or the like to another computer system via a transmission medium or by a transmission wave in the transmission medium.
  • DRAM for example, DRAM
  • the "transmission medium” for transmitting a program refers to a medium having a function of transmitting information, such as a network (communication network) such as the Internet or a communication line (communication line) such as a telephone line.
  • the above program may be for realizing a part of the above-mentioned functions.
  • the above program may be a so-called difference file (difference program) that can realize the above-mentioned functions in combination with a program already recorded in the computer system.
  • a processor such as a CPU (Central Processing Unit) reads and executes a program stored in a memory.
  • CPU Central Processing Unit
  • Neural network arithmetic processing device 10 1st multiplier arithmetic unit 10-1 1st multiplier sum arithmetic unit 10-2 1st multiplier sum arithmetic unit 11 1st memory 11-1 1st memory 11-2 1st memory 12 2nd Memory 12-1 Second memory 12-2 Second memory 13 First multiplier 13-1 First multiplier 13-2 First multiplier 13-3 First multiplier 13-4 First multiplier 14 First addition Instrument 14-1 First multiplier 14-2 First multiplier 14-3 First multiplier 14-4 First multiplier 15 First output unit 15-1 First output unit 15-2 First output unit 16 First 1 Signal transmission / reception unit 16-1 First signal transmission / reception unit 16-2 First signal transmission / reception unit 17 Signal transmission unit 17-1 Signal transmission unit 17-2 Signal transmission unit 20 Register 20-1 Register 20-2 Register 30 Second product Sum calculator 30-1 Second multiplier Sum calculator 30-2 Second multiplier Sum calculator 31 Input unit 31-1 Input unit 31-2 Input unit 32 Third memory 32-1 Third memory 32-2 Third memory 33-1 2nd multiplier 33-2 2nd multiplier 33-3 2nd multiplier 33-4

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Neurology (AREA)
  • Complex Calculations (AREA)

Abstract

積和演算の更なる高速化、効率化を実現することができ、且つ回路規模の増大を抑制し、更には簡便な設計で積和演算を行うことができるニューラルネットワーク演算処理装置を提供する。　ニューラルネットワーク演算処理装置（１）は、第１積和演算器（１０）と、第１積和演算器（１０）に接続されたレジスタ（２０）と、レジスタ（２０）に接続された第２積和演算器（３０）とを備える。第１積和演算器（１０）は、第１メモリ（１１）、第２メモリ（１２）、第１乗算器（１３）、第１加算器（１４）及び第１出力部（１５）を有する。第２積和演算器（３０）は、入力部（３１）、第３メモリ（３２）、第２乗算器（３３－１），（３３－２）、第２加算器（３４－１），（３４－２）及び第２出力部（３５－１），（３５－２）を有する。

Description

ニューラルネットワーク演算処理装置及びニューラルネットワーク演算処理方法
　本発明は、ニューラルネットワーク演算処理装置及びニューラルネットワーク演算処理方法に関し、特に、ニューラルネットワークの積和演算をデジタルで行うニューラルネットワーク演算処理装置に関する。
　ニューラルネットワークは、金融、マーケティング、認証、セキュリティなどの広い分野で、深層学習をはじめ、高度な情報の識別技術、分類技術に実用化されている。上記のような技術では、高機能化等に伴い、膨大な量の積和演算が必要であることから、積和演算の高速化、効率化が重要となっている。
　ニューラルネットワークは、一般的にニューラルネットの層数が多くなるほど高性能になる。しかし、層数が多くなると、回路規模が増大するほか、演算量も増大し、多くの演算時間が必要になる。よって、演算機能の向上と性能の双方を考慮しながらデバイスを構成する必要がある。
　従来、乗算器、加算器、メモリ、レジスタなどの相互の結合の切り換えをセレクタによって実行し、かつ複数のプロセッサエレメント（ＰＥ）を２次元的に配列してその各列と各行にメモリと加算器を付加した行列演算装置と、該行列演算装置とは並列に動作可能であり、行列計算以外の計算を行う補助演算装置とを備えたニューロプロセッサが提案されている（特許文献１）。本構成では、各プロセッサエレメントに割り当てられた行列計算を効率良く柔軟に行うことができ、また、行列計算以外の計算を別に備えた補助演算装置によって並列に行うことにより、膨大な演算を高速に処理できるとされている。
特開平０５－３４６９１４号公報
　しかしながら、上記のような技術では、一つの層内では演算処理を並列化することで高速な演算が可能であるものの、演算機能を次段でも適用すると、ニューラルネットワーク全体としては非効率であり、積和演算の高速化、効率化が十分とは言えない。
　一般に、積和演算の高速化、効率化を実現するための方法として、一つの層内で演算処理を並列化したり、パイプライン化する方法がある。また、層数が何層になるかはどのようなものを処理対象とするかに因って変化するため、汎用性等の観点から、演算機能は１層で完結し、当該演算機能を次段でも適用する方法が多い。
　例えば、簡易的な演算処理として、２つの変数の読み出し、該２つの変数の和算、及び和算の値のメモリへの書き込みの一連の動作を、３回繰り返して行うことを想定する。通常の演算の場合、関数の入力が３クロック毎に読み出され、和算の値がその２サイクル後に出力されるため、演算処理全体に掛かる時間は、３クロック×３（回）＝９クロックとなる。
　この演算処理を並列化した場合、９クロックより短い３クロックで演算処理を完了することができるが、複数のデータを同時に読み出し及び書き込みできる回路としなければならず、また、並列化した数と同じ数の演算器が必要になるため、回路規模が増大する。
　また、上記演算処理をパイプライン化した場合、層間のレジスタを用いて３クロック遅れたタイミングで順次上記一連の動作を行うため、９クロックよりも短い時間で演算処理を完了することができ、また、１つの演算器で実行できるので回路規模の増大を抑制できる。しかし、更なる高速化を実現するためには時間的な綿密な設計が必要となり、煩雑である。また、実際のニューラルネットワークの演算では、膨大な演算を行うため、並列化やパイプライン化を効率よく組み合わせ、回路規模を抑えつつ、高速な演算を実現するように回路を設計する必要があるが、層内での効率化だけに留まっており、十分とは言えない。
　本発明の目的は、積和演算の更なる高速化、効率化を実現することができ、且つ回路規模の増大を抑制し、更には簡便な設計で積和演算を行うことができるニューラルネットワーク演算処理装置及びニューラルネットワーク演算処理方法を提供することにある。
　上記目的を達成するために、本発明は以下の手段を提供する。
［１］１以上の第１積和演算器と、
　前記１以上の第１積和演算器に接続された１以上のレジスタと、
　前記１以上のレジスタに接続された１以上の第２積和演算器と、を備え、
　前記第１積和演算器は、
　複数の第１入力変数を格納した第１メモリと、
　複数の第１重みデータを格納した第２メモリと、
　前記第１入力変数と前記第１重みデータとの積の複数を演算する１以上の第１乗算器と、
　前記１以上の第１乗算器で乗算された前記積の複数の和を演算する１以上の第１加算器と、
　前記１以上の第１加算器で加算された前記和の複数を、複数の第２入力変数として前記レジスタに出力する１以上の第１出力部と、を有し、
　前記第２積和演算器は、
　複数の第２重みデータを格納した第３メモリと、
　前記第２重みデータと前記レジスタに保持された前記第２入力変数との積の複数を演算する１以上の第２乗算器と、
　前記１以上の第２乗算器で乗算された前記積の複数の和を演算する１以上の第２加算器と、
　前記１以上の第２加算器で加算された前記和の複数を、複数の出力値として出力する１以上の第２出力部と、を有する、
　ニューラルネットワーク演算処理装置。
［２］前記第２積和演算器で実行される演算処理の少なくとも一部を、前記第１積和演算器で実行される演算処理と並列に実行する、請求項１に記載のニューラルネットワーク演算処理装置。
［３］前記第１積和演算器１０で実行される演算処理Ｐ１を構成する演算数が（ｎ＋１）（ｎは０以上の整数）であり、前記第２積和演算器で実行される演算処理Ｐ２を構成する演算数が（ｑ＋１）（ｑは０以上の整数）である場合、
　前記第１積和演算器で実行される前記演算処理Ｐ１の並列数Ｌ１は、演算数（ｎ＋１）の約数であり、前記第２積和演算器で実行される前記演算処理Ｐ２の並列数Ｌ２は、演算数（ｑ＋１）の約数である、請求項２に記載のニューラルネットワーク演算処理装置。
［４］前記演算処理Ｐ１を構成するパイプライン数Ｃ１及び前記演算処理Ｐ２を構成するパイプライン数Ｃ２の双方が、前記演算数（ｎ＋１）と前記演算数（ｑ＋１）の最大公約数である、上記［３］に記載のニューラルネットワーク演算処理装置。
［５］前記第２積和演算器で実行される演算処理が終了するタイミングが、前記第１積和演算器の演算処理が終了するタイミングと同じである、上記［３］又は［４］に記載のニューラルネットワーク演算処理装置。
［６］前記第２メモリ及び前記第３メモリの各々が、リングバッファメモリである、上記［１］に記載のニューラルネットワーク演算処理装置。
［７］前記第１積和演算器と前記レジスタとの間と、前記レジスタと前記第２積和演算器との間の少なくとも一方に、活性化関数を用いて演算する１以上の活性化関数演算処理部を更に備える、上記［１］に記載のニューラルネットワーク演算処理装置。
［８］前記１以上の第１乗算器は、複数の第１乗算器であり、
　前記１以上の第１加算器は、複数の第１加算器である、上記［２］～［７］のいずれかに記載のニューラルネットワーク演算処理装置。
［９］前記１以上の第２積和演算器は、複数の前記第２積和演算器であり、
　前記複数の前記第２積和演算器が、前記１以上の第１積和演算器と並列に動作する、上記［２］～［８］のいずれかに記載のニューラルネットワーク演算処理装置。
［１０］前記１以上の第１積和演算器は、複数の前記第１積和演算器であり、
　前記複数の前記第１積和演算器が、前記１以上の第２積和演算器と並列に動作する、上記［２］～［８］のいずれかに記載のニューラルネットワーク演算処理装置。
［１１］前記１以上の第１積和演算器は、複数の前記第１積和演算器であり、
前記１以上の第２積和演算器は、複数の前記第２積和演算器であり、
　前記複数の前記第１積和演算器が、前記複数の第２積和演算器と並列に動作する、上記［２］～［８］のいずれかに記載のニューラルネットワーク演算処理装置。
［１２］第１入力変数と第１重みデータとの積の複数を演算すると共に、前記積の複数の和を演算する第１演算工程と、
　前記第１演算工程で演算された前記和の複数を、複数の第２入力変数として保持する保持工程と、
　第２重みデータと前記第２入力変数との積の複数を演算すると共に、前記積の複数の和を演算する第２演算工程と、
　前記第２演算工程で演算された前記和の複数を、複数の出力値として出力する第２出力工程と、を有し、
　前記第２演算工程で実行される演算処理の少なくとも一部を、前記第１演算工程で実行される演算処理と並列して実行する、ニューラルネットワーク演算処理方法。
　本発明によれば、積和演算の更なる高速化、効率化を実現することができ、且つ回路規模の増大を抑制し、更には簡便な設計で積和演算を行うことができるニューラルネットワーク演算処理装置及びニューラルネットワーク演算処理方法を提供することができる。
図１は、本発明の実施形態に係るニューラルネットワーク演算処理装置の構成の一例を概略的に示す模式図である。 図２（ａ）は、図１のニューラルネットワーク演算処理装置が適用されるニューラルネットワークの構成の一例を示す模式図であり、図２（ｂ）は、図２（ａ）の第１積和演算器の演算を示す図、図２（ｃ）は、図２（ａ）の第２積和演算器の演算を示す図である。 図３（ａ）は、図２のニューラルネットワークにおける第一段階での信号のフローを示す図であり、図３（ｂ）は、図３（ａ）のフローにおける第１積和演算器の演算を示す図、図３（ｃ）は、図３（ａ）のフローにおける第２積和演算器の演算を示す図である。 図４（ａ）は、図２のニューラルネットワークにおける第二段階での信号のフローを示す図であり、図４（ｂ）は、図４（ａ）のフローにおける第１積和演算器の演算を示す図、図４（ｃ）は、図４（ａ）のフローにおける第２積和演算器の演算を示す図である。 図５（ａ）は、図２のニューラルネットワークにおける第三段階での信号のフローを示す図であり、図３（ｂ）は、図３（ａ）のフローにおける第１積和演算器の演算を示す図、図３（ｃ）は、図３（ａ）のフローにおける第２積和演算器の演算を示す図である。 図６（ａ）は、図２のニューラルネットワークにおける第四段階での信号のフローを示す図であり、図６（ｂ）は、図６（ａ）のフローにおける第１積和演算器の演算を示す図、図６（ｃ）は、図６（ａ）のフローにおける第２積和演算器の演算を示す図である。 図７（ａ）は、図２のニューラルネットワークにおける第五段階での信号のフローを示す図であり、図７（ｂ）は、図７（ａ）のフローにおける第１積和演算器の演算を示す図、図７（ｃ）は、図７（ａ）のフローにおける第２積和演算器の演算を示す図である。 図８は、図２における第１積和演算器で実行される演算処理と、第２積和演算器で実行される演算処理のタイムチャートの一例を示す図である。 図９は、図２における第１積和演算器で実行される演算処理の並列数及びパイプライン数と、第２積和演算器で実行される演算処理の並列数及びパイプライン数の一例を示す模式図であり、図９（ｂ）は、図９（ａ）における第１積和演算器の演算処理と、第２積和演算器の演算処理のタイムチャートの変形例を示す図である。 図１０は、図１のニューラルネットワーク演算処理装置の構成の変形例を概略的に示す模式図である。 図１１は、図１０のニューラルネットワーク演算処理装置で実行されるニューラルネットワーク演算処理方法の一例を示すフローチャートである。 図１２は、図１のニューラルネットワーク演算処理装置の構成の他の変形例を概略的に示す模式図である。 図１３は、図１０における第１積和演算器及び第２積和演算器の構成の変形例を概略的に示す模式図である。 図１４は、図１０のニューラルネットワーク演算処理装置の構成の変形例を概略的に示す模式図である。
　以下、本発明の実施形態について、図面を参照して詳細に説明する。
［ニューラルネットワーク演算処理装置の構成］
　図１は、本発明の実施形態に係るニューラルネットワーク演算処理装置の構成の一例を概略的に示す模式図である。
　図１に示すように、ニューラルネットワーク演算処理装置１は、第１積和演算器１０と、第１積和演算器１０に接続されたレジスタ２０と、レジスタ２０に接続された第２積和演算器３０とを備える。
　第１積和演算器１０は、複数の第１入力変数を格納した第１メモリ１１と、複数の第１重みデータを格納した第２メモリ１２と、上記第１入力変数と上記第１重みデータとの積の複数を演算する第１乗算器１３と、第１乗算器１３で乗算された積の複数の和を演算する第１加算器１４と、第１加算器１４で加算された上記和の複数を、複数の第２入力変数としてレジスタ２０に出力する第１出力部１５とを有する。本実施形態では、第１積和演算器１０は、デジタル積和演算回路を構成している。
　第１メモリ１１は、複数の第１入力変数ｘ０，ｘ１，ｘ２，…ｘｎ（ｎは０以上の整数）を格納しており、第１積和演算器１０によって複数の第１入力変数ｘ０，ｘ１，ｘ２，…ｘｎが読み出される。第１メモリ１１は、例えば、複数の第１入力変数ｘ０，ｘ１，ｘ２，…ｘｎを（ｎ＋１）行１列の行列Ａ（ｎ次元の列ベクトル）として格納している。第１メモリ１１は、リングバッファメモリで構成されてもよい。第１入力変数を格納するメモリはランダムアクセス性を要しないため、第１メモリ１１をリングバッファメモリで構成することで、第１積和演算器１０を簡便な構成とすることができる。また、第１メモリ１１は、第１入力変数以外の他のデータを書き込んで格納するように構成することができる。
　第２メモリ１２は、複数の第１重みデータω００，ω０１，ω０２，…ωｍｎ（ｍは０以上の整数）を格納しており、第１積和演算器１０によって複数の第１重みデータω００，ω０１，ω０２，…ωｍｎが読み出される。第２メモリ１２は、例えば複数の第１重みデータを（ｍ＋１）行（ｎ＋１）列の行列Ｂとして格納している。また、第２メモリ１２は、第１重みデータ以外の他のデータを書き込んで格納するように構成することができる。
　第２メモリ１２は、リングバッファメモリで構成されてもよい。第１重みデータを格納するメモリはランダムアクセス性を要しないため、第２メモリ１２をリングバッファメモリで構成することで、第１積和演算器１０を簡便な構成とすることができる。
　本実施形態では、第１積和演算器１０は、第１メモリ１１及び第２メモリ１２を備えているが、これに限られず、第１メモリ１１及び第２メモリ１２に代えて、上記複数の第１入力変数及び上記複数の第１重みデータを格納する一のメモリを備えてもよい。一のメモリを共有化することで、回路規模の増大を抑制できる。
　第１乗算器１３は、第１入力変数ｘ０，ｘ１，ｘ２，…ｘｎのうちのｘｉと、第１重みデータω００，ω０１，ω０２，…ωｍｎのうちのωｊｋを入力として、これらの積ωｊｋｘｉを出力する。第１乗算器１３は、デジタル乗算器で構成されている。
　第１加算器１４は、第１乗算器１３で乗算された積ωｊｋｘｉの複数を入力として、複数の積ωｊｋｘｉの和Σωｊｋｘｉを第２入力変数ｉ０，ｉ１，ｉ２，…ｉｍ（ｍは０以上の整数）として出力する。第１加算器１４は、デジタル加算器で構成されている。
　上記第１乗算器１３及び第１加算器１４の演算は、例えば（ｍ＋１）行（ｎ＋１）列の行列Ｂと、（ｎ＋１）行１列の行列Ａとの積ＢＡで表すことができる。この場合、第１加算器１４から出力される複数の第２入力変数ｉ０，ｉ１，ｉ２，…ｉｍは、（ｍ＋１）行１列の行列Ｃとして表される。
　レジスタ２０は、第１積和演算器１０の第１出力部１５から出力された上記和の複数を、複数の第２入力変数として保持する。また、レジスタ２０は、上記複数の第２入力変数を、第２積和演算器３０に出力する。
　第２積和演算器３０は、レジスタ２０から出力された上記複数の第２入力変数が入力される入力部３１と、複数の第２重みデータを格納した第３メモリ３２と、第２重みデータとレジスタ２０に保持された上記第２入力変数との積の複数を演算する第２乗算器３３－１，３３－２と、第２乗算器３３－１，３３－２でそれぞれ乗算された積の複数の和を演算する第２加算器３４－１，３４－２と、第２加算器３４－１，３４－２でそれぞれ加算された前記和の複数を、複数の出力値として出力する第２出力部３５－１，３５－２とを有する。本実施形態では、第２積和演算器３０は、第１積和演算器１０と同様、デジタル積和演算回路を構成している。
　第３メモリ３２は、複数の第２重みデータｗ００，ｗ０１，ｗ０２，…ｗｐｑ（ｐ、ｑは共に０以上の整数）を格納しており、第２積和演算器３０によって複数の第２重みデータｗ００，ｗ０１，ｗ０２，…ｗｐｑが読み出される。第３メモリ３２は、例えば複数の第２重みデータを（ｐ＋１）行（ｑ＋１）列の行列Ｄとして格納している。一例としては、ｐ＝ｍ－１、ｑ＋１＝ｍ＋１、すなわちｑ＝ｍとして、複数の第２重みデータが（ｐ＋１）行（ｍ＋１）列の行列Ｄとして格納される。
　第３メモリ３２は、リングバッファメモリで構成されてもよい。第２重みデータを格納するメモリはランダムアクセス性を要しないため、第３メモリ３２をリングバッファメモリで構成することで、第２積和演算器３０を簡便な構成とすることができる。
　第２乗算器３３－１は、複数の第２入力変数ｉ０，ｉ１，ｉ２，…ｉｍのうちのｉｉと、第２重みデータｗ００，ｗ０１，ｗ０２，…ｗｐｑのうちのｗｊｋを入力として、これらの積ｗｊｋｉｉを出力する。第２乗算器３３－１は、デジタル乗算器で構成されている。第２乗算器３３－２も、第２乗算器３３－１と同様の構成であるので、その説明を省略する。本実施形態では、第２積和演算器３０は、２つの第２乗算器３３－１，３３－２を有しているが、これに限られず、一の第２乗算器を有していてもよい。
　第２加算器３４－１は、第２乗算器３３－１で乗算された積ｗｊｋｉｉの複数を入力として、複数の積ｗｊｋｉｉの和Σｗｊｋｉｉを複数の出力値ｙ０，ｙ１，ｙ２，…ｙｐとして出力する。一例としては、ｐ＝ｍ－１、ｑ＝ｍとして、複数の積ｗｊｋｉｉの和Σｗｊｋｉｉが複数の出力値ｙ０，ｙ１，ｙ２，…ｙｍ－１（ｍは０以上の整数）として出力される。第２加算器３４－１は、デジタル加算器で構成されている。第２加算器３４－２も、第２加算器３４－１と同様の構成であるので、その説明を省略する。本実施形態では、第２積和演算器３０は、２つの第２加算器３４－１，３４－２を有しているが、これに限られず、一の第２加算器を有していてもよい。
　第２出力部３５－１は、複数の出力値ｙ０，ｙ１，ｙ２，…ｙｐを外部に出力する。第２出力部３５－２は、第２出力部３５－１と同様の構成であるので、その説明を省略する。本実施形態では、第２積和演算器３０は、２つの第２出力部３５－１，３５－２を有しているが、これに限られず、一の第２出力部を有していてもよい。
　第２乗算器３３－１，３３－２及び第２加算器３４－１，３４－２の演算は、例えば（ｐ＋１）行（ｑ＋１）列の行列Ｄと、（ｍ＋１）行１列の行列Ｃとの積ＤＣで表すことができる。一例としては、ｐ＋１＝ｍ、ｑ＋１＝ｍ＋１として、ｍ行（ｍ＋１）列の行列Ｄと、（ｍ＋１）行１列の行列Ｃとの積ＤＣで表され、この場合、第２加算器３４－１，３４－２から出力される複数の出力値ｙ０，ｙ１，ｙ２，…ｙｍ－１は、ｍ行１列の行列Ｅとして表される。
　本実施形態では、第２積和演算器３０は、２つの第２乗算器３３－１，３３－２、第２加算器３４－１，３４－２及び２つの第２出力部３５－１，３５－２を有しているが、これに限られず、一の第２乗算器、一の第２加算器及び一の第２出力部を有していてもよい。
　図２（ａ）は、図１のニューラルネットワーク演算処理装置１が適用されるニューラルネットワーク４０の構成の一例を示す模式図である。
　図２に示すように、ニューラルネットワーク４０は、入力層４１と、隠れ層４２（中間層ともいう）と、出力層４３と、入力層４１と隠れ層４２との間の演算を行う第１積和演算器１０と、隠れ層４２と出力層４３との間の演算を行なう第２積和演算器３０とを備えている。
　入力層４１は、例えば５つのノード４１Ａ，４１Ｂ，４１Ｃ，４１Ｄ，４１Ｅを備えている。入力層４１の５つのノード４１Ａ，４１Ｂ，４１Ｃ，４１Ｄ，４１Ｅに、それぞれ５個の第１入力変数ｘ０，ｘ１，ｘ２，ｘ３，ｘ４が与えられる。
　隠れ層４２は、例えば４つのノード４２Ａ，４２Ｂ，４２Ｃ，４２Ｄを備えている。図２の例では、隠れ層４２の４つのノード４２Ａ，４２Ｂ，４２Ｃ，４２Ｄに、それぞれ４個の第２入力変数ｉ０，ｉ１，ｉ２，ｉ３が与えられる。４個の第２入力変数ｉ０，ｉ１，ｉ２，ｉ３は、図２（ｂ）に示すように、４行１列の行列Ｃで表され、２０個の第１重みデータω００～ω３４を表す４行５列の行列Ｂと、５個の第１入力変数ｘ０～ｘ４を表す５行１列の行列Ａとの積ＢＡによって算出される。本実施形態では、隠れ層４２は単層で構成されるが、これに限られず、複数層で構成されてもよい。
　出力層４３は、例えば３つのノード４３Ａ，４３Ｂ，４３Ｃを備えている。
図２の例では、出力層４３の３つのノード４３Ａ，４３Ｂ，４３Ｃに、それぞれ３個の出力値ｙ０，ｙ１，ｙ２が与えられる。３個の出力値ｙ０，ｙ１，ｙ２は、図２（ｃ）に示すように、３行１列の行列Ｅで表され、１２個の第２重みデータｗ００～ｗ２３を表す３行４列の行列Ｄと、４個の第２入力変数ｉ０～ｉ３を表す４行１列の行列Ｃとの積ＤＣによって算出される。
　図２のニューラルネットワーク４０において、第２積和演算器３０は、第２乗算器３３－１，３３－２及び第２加算器３４－１，３４－２で実行される演算処理の少なくとも一部を、第１積和演算器１０の第１乗算器１３及び第１加算器１４で実行される演算処理と並列に実行する。
　具体的には、先ず、図３（ａ）及び図３（ｂ）に示すように、第１積和演算器１０が、隠れ層４２において５個の第１重みデータω００～ω０４と５個の第１入力変数ｘ０～ｘ４から第２入力変数ｉ０を算出する。
　次に、図４（ａ）及び図４（ｂ）に示すように、第１積和演算器１０が隠れ層４２において５個の第１重みデータω１０～ω１４と５個の第１入力変数ｘ０～ｘ４から第２入力変数ｉ１を算出すると共に、図４（ｃ）に示すように、第２積和演算器３０が、４個の第２重みデータｗ００，ｗ１０，ｗ２０と第２入力変数ｉ０から、これらの積ｗ００ｉ０、ｗ１０ｉ０、ｗ２０ｉ０を算出する。
　次いで、図５（ａ）及び図５（ｂ）に示すように、第１積和演算器１０が隠れ層４２において５個の第１重みデータω２０～ω２４と５個の第１入力変数ｘ０～ｘ４から第２入力変数ｉ２を算出すると共に、図５（ｃ）に示すように、第２積和演算器３０が、４個の第２重みデータｗ０１，ｗ１１，ｗ２１と第２入力変数ｉ１から、これらの積ｗ０１ｉ１、ｗ１１ｉ１、ｗ２１ｉ１を算出する。
　同様にして、図６（ａ）及び図６（ｂ）に示すように、第１積和演算器１０が隠れ層４２において５個の第１重みデータω３０～ω３４と５個の第１入力変数ｘ０～ｘ４から第２入力変数ｉ３を算出すると共に、図６（ｃ）に示すように、第２積和演算器３０が、４個の第２重みデータｗ０２，ｗ１２，ｗ２２と第２入力変数ｉ２から、これらの積ｗ０２ｉ２、ｗ１２ｉ２、ｗ２２ｉ２を算出する。
　そして、図７（ａ）及び図７（ｂ）に示すように、第２積和演算器３０は、４個の第２重みデータｗ０３，ｗ１３，ｗ２３と第２入力変数ｉ３から、これらの積ｗ０３ｉ３、ｗ１３ｉ３、ｗ２３ｉ３を算出する。これにより、３個の出力値ｙ０，ｙ１，ｙ２が得られる。このように第１積和演算器１０の演算処理と、第２積和演算器３０の演算処理とが同時期に進行することで、第１積和演算器１０における第２入力変数ｉ０～ｉ３の演算処理が開始してから出力値ｙ０～ｙ２が得られるまでの時間が短縮される。特に、第１積和演算器１０において第２入力変数ｉ０～ｉ３の演算処理が終了した後に第２積和演算器３０において出力値ｙ０～ｙ２の演算処理を実行する場合と比較して、演算処理に掛かる時間が大幅に短縮される。
　図８は、図２における第１積和演算器１０で実行される演算処理と、第２積和演算器３０で実行される演算処理のタイムチャートの一例を示す図である。
　図８において、第１積和演算器１０で実行される演算処理を、第一段階から第（ｍ＋１）段階に分け、各段階で複数の演算処理Ｐ１Ａ（１）、Ｐ１Ａ（２），…Ｐ１Ａ（ｎ＋１）（ｎは０以上の整数）が実行される場合を想定する。また、第２積和演算器３０で実行される演算処理を第一段階から第（ｐ＋１）段階に分け、各段階で複数の演算処理Ｐ２Ａ（１）、Ｐ２Ａ（２），…Ｐ２Ａ（ｑ＋１）（ｑは０以上の整数）が実行されることを想定する。このとき、第２積和演算器３０で実行される演算処理Ｐ２Ａ（１）は、第１積和演算器１０で実行される演算処理Ｐ１Ａ（２）の処理時間Ｔ１Ａ（２）と並列して実行される。また、第２積和演算器３０で実行される演算処理Ｐ２Ａ（２）は、第１積和演算器１０で実行される演算処理Ｐ１Ａ（３）と並列して実行される。以後同様にして、第２積和演算器３０で実行される演算処理Ｐ２Ａ（ｉ）は、第１積和演算器１０で実行される演算処理Ｐ１Ａ（ｉ＋１）と並行して実行される。
　本実施形態では、第２積和演算器３０で実行される演算処理Ｐ２Ａ（ｉ）は、第１積和演算器１０で実行される演算処理Ｐ１Ａ（ｉ＋１）と同時に開始される。また、第２積和演算器３０で実行される演算処理Ｐ２Ａに掛かる時間Ｔ２Ａ（ｉ）が、第１積和演算器１０で実行される演算処理Ｐ１Ａに掛かる時間Ｔ１Ａ（ｉ＋１）よりも短い。よって、第２積和演算器３０で実行される演算処理Ｐ２Ａ（ｉ）は、第１積和演算器１０で実行される演算処理Ｐ１Ａ（ｉ＋１）が終了する前に終了する。
　また、本実施形態では、第２積和演算器３０で実行される演算処理Ｐ２Ａ（ｉ）の処理時間Ｔ２Ａ（ｉ）の全体が、第１積和演算器１０で実行される演算処理Ｐ１Ａ（ｉ＋１）の処理時間Ｔ１Ａ（ｉ＋１）の一部と重複する。これにより、第１積和演算器１０における演算処理Ｐ１Ａ（１），Ｐ１Ａ（２），…Ｐ１Ａ（ｎ＋１）の全てが終了した後に第２積和演算器３０における演算処理Ｐ２Ａ（１），Ｐ２Ａ（２），…Ｐ２Ａ（ｑ＋１）を実行する場合と比較して、演算処理Ｐ２Ａ（１），Ｐ２Ａ（２），…Ｐ２Ａ（ｑ＋１）に掛かる総処理時間の総和ΣＴ２Ａ（ｉ）の分、処理時間が短縮される。
　第２積和演算器３０で実行される演算処理Ｐ２Ａ（ｉ）は、第１積和演算器１０で実行される演算処理Ｐ１Ａ（ｉ＋１）の少なくとも一部と重複していればよい。また、第２積和演算器３０で実行される演算処理Ｐ２Ａ（ｉ）は、第１積和演算器１０で実行される演算処理Ｐ１Ａ（ｉ＋１）と同時に開始されなくてもよく、演算処理Ｐ１Ａ（ｉ＋１）が開始する前に開始してもよいし、演算処理Ｐ１Ａ（ｉ＋１）が開始した後に開始してもよい。
　図９（ａ）は、図２における第１積和演算器１０で実行される演算処理Ｐ１の並列数及びパイプライン数の一例と、第２積和演算器３０で実行される演算処理Ｐ２の並列数及びパイプライン数の一例を示す模式図である。図９（ｂ）は、図９（ａ）における第１積和演算器１０の演算処理Ｐ１と、第２積和演算器３０の演算処理Ｐ２のタイムチャートの変形例を示す図である。
　図９（ａ）に示すように、第１積和演算器１０で実行される演算処理Ｐ１Ｂを構成する演算数が（ｎ＋１）（ｎは０以上の整数）であり、第２積和演算器３０で実行される演算処理Ｐ２Ｂを構成する演算数が（ｑ＋１）（ｑは０以上の整数）である場合、第１積和演算器１０で実行される演算処理Ｐ１Ｂの並列数Ｌ１は、演算数（ｎ＋１）の約数であり、第２積和演算器３０で実行される演算処理Ｐ２Ｂの並列数Ｌ２は、演算数（ｑ＋１）の約数であるのが好ましい。例えば、演算処理Ｐ１Ｂの演算数が（ｎ＋１）＝７８４、演算処理Ｐ２Ｂの演算数（ｑ＋１）＝２５６の場合、演算処理Ｐ１Ｂの並列数Ｌ１を４９、演算処理Ｐ２Ｂの並列数Ｌ２を１６に設定することができる。
　また、演算処理Ｐ１Ｂの演算数が（ｎ＋１）、演算処理Ｐ２Ｂの演算数（ｑ＋１）の場合、演算処理Ｐ１Ｂを構成するパイプライン数Ｃ１及び演算処理Ｐ２Ｂを構成するパイプライン数Ｃ２の双方が、演算数（ｎ＋１）と演算数（ｑ＋１）の最大公約数であることが好ましい。一例として、演算処理Ｐ１Ｂの演算数が（ｎ＋１）＝７８４、演算処理Ｐ２Ｂの演算数（ｑ＋１）＝２５６の場合、演算処理Ｐ１Ｂのパイプライン数Ｃ１及び演算処理Ｐ２Ｂのパイプライン数Ｃ２の双方を、７８４と２５６の最大公約数である１６に設定することができる。
　これにより、第１積和演算器１０で実行される演算処理Ｐ１Ｂ及び第２積和演算器３０で実行される演算処理Ｐ２Ｂの効率が良くなり、回路規模の増大が抑制される。
　また、第２積和演算器３０で実行される演算処理Ｐ２Ｂ（ｉ）が終了するタイミングが、第１積和演算器１０で実行される演算処理Ｐ１Ｂ（ｉ＋１）が終了するタイミングと同じであるように調節することが好ましい。例えば、図９（ｂ）に示すように、演算処理Ｐ２Ｂ（１）の処理時間Ｔ２Ｂ（１）を、演算処理Ｐ１Ｂ（２）の処理時間Ｔ１Ｂ（２）と同じに設定することができる。同様にして、演算処理Ｐ２Ｂ（ｉ）の処理時間Ｔ２Ｂ（ｉ）を、演算処理Ｐ１Ｂ（ｉ＋１）の処理時間Ｔ１Ｂ（ｉ＋１）と同じに設定することができる。これにより、第１積和演算器１０で実行される演算処理Ｐ１Ｂ及び第２積和演算器３０で実行される演算処理Ｐ２Ｂの効率を最も良くすることができ、回路規模の増大が更に抑制される。
　上述したように、本実施形態によれば、ニューラルネットワーク演算処理装置１が、第１入力変数ｘｉと第１重みデータωｊｋとの積ωｊｋｘｉの複数を演算すると共に、積ωｊｋｘｉの複数の和Σωｊｋｘｉを演算し（第１演算工程）、上記第１演算工程で演算された上記和Σωｊｋｘｉの複数を、複数の第２入力変数ｉ０，ｉ１，ｉ２，…ｉｍとして保持する（保持工程）。また、第２重みデータωｊｋと第２入力変数ｉｉとの積ｗｊｋｉｉの複数を演算すると共に、積ｗｊｋｉｉの複数の和Σｗｊｋｉｉを演算し（第２演算工程）、上記第２演算工程で演算された和Σｗｊｋｉｉの複数を、複数の出力値ｙ０，ｙ１，ｙ２，…ｙｐとして出力する（第２出力工程）。そして、上記第２演算工程で実行される演算処理の少なくとも一部を、上記第１演算工程で実行される演算処理と並列して実行する。このように、第１積和演算器１０及び第２積和演算器３０の双方を用いて、隠れ層４２と出力層４３の２層に亘る並列計算を行うことで、積和演算の更なる高速化、効率化を実現することができ、且つ回路規模の増大を抑制し、更には簡便な設計で積和演算を行うことができる。
　図１０は、図１のニューラルネットワーク演算処理装置１の構成の変形例を概略的に示す模式図である。本変形例では、第１積和演算器及び第２積和演算器の双方に制御信号送信部が設けられている点で、上記実施形態と異なる。上記実施形態と同様の構成については、上記実施形態と同一の符号を付してその説明を省略し、異なる部分を以下に説明する。
　図１０に示すように、第１積和演算器１０は、第１制御信号Ｓ１を第２積和演算器３０に送信すると共に、第２積和演算器３０からの第２制御信号Ｓ２を受信する第１信号送受信部１６と、第３制御信号Ｓ３をレジスタ２０に送信する信号送信部１７とを更に備えている。第２積和演算器３０は、第２制御信号Ｓ２を第２積和演算器３０に送信すると共に、第１積和演算器１０からの第１制御信号Ｓ１を受信する第２信号送受信部３６を更に備えている。
　第１信号送受信部１６は、第１積和演算器１０の演算処理が終了したときに、第１積和演算器１０の演算処理が終了したことを通知する第１制御信号Ｓ１を、第２積和演算器３０に送信する。信号送信部１７は、第１積和演算器１０の演算処理が終了したときに、第１積和演算器１０の演算処理が終了したことを通知する第１制御信号Ｓ３を、レジスタ２０に送信する。本変形例では、第１積和演算器１０は、第１信号送受信部１６及び信号送信部１７を有しているが、これに限られず、第１制御信号Ｓ１を第２積和演算器３０に送信すると共に、第２積和演算器３０からの第２制御信号Ｓ２を受信し、且つ第３制御信号Ｓ３をレジスタ２０に送信する一の信号送受信部を有していてもよい。
　第２信号送受信部３６は、第２積和演算器３０の演算処理が終了したときに、第２積和演算器３０の演算処理が終了したことを通知する第２制御信号Ｓ２を、第１積和演算器１０に送信する。
　図１１は、図１０のニューラルネットワーク演算処理装置１で実行されるニューラルネットワーク演算処理方法の一例を示すフローチャートである。
　図１１おいて、先ず、ニューラルネットワーク演算処理装置１は、第２制御信号Ｓ２を１に設定し、第２積和演算器３０は、第２制御信号Ｓ２を第１積和演算器１０に送信する（ステップＳ１）。次に、ニューラルネットワーク演算処理装置１は、第１制御信号Ｓ１を０に設定すると共に、第３制御信号Ｓ３を０に設定する（ステップＳ２）。次いで、第１積和演算器１０は、上述した演算処理Ｐ１Ａ（１）を実行して（ステップＳ３）、複数の積ω０ｋｘｉの和Σω０ｋｘｉを第２入力変数ｉ０として算出し、演算処理Ｐ１Ａ（１）が終了する（ステップＳ４）。
　その後、ニューラルネットワーク演算処理装置１は、第３制御信号Ｓ３を１に設定し、第１積和演算器１０は、第３制御信号Ｓ３を第２積和演算器３０に送信する（ステップＳ５）。その後、第１積和演算器１０は、演算処理Ｐ１Ａ（１）によって得られた第２入力変数ｉ０を、第１出力部１５を介してレジスタ２０に送信する。ニューラルネットワーク演算処理装置１は、第１積和演算器１０の第１出力部１５から出力された演算結果（第２入力変数ｉ０）を、レジスタ２０に保持する（ステップＳ６）。
　次に、ニューラルネットワーク演算処理装置１は、第１制御信号Ｓ１を１に設定し、第１積和演算器１０は、第１制御信号Ｓ１を第２積和演算器３０に送信する（ステップＳ７）。その後、ニューラルネットワーク演算処理装置１は、第２制御信号Ｓ２が１に設定されているか否かを判定し（ステップＳ８）、第２制御信号Ｓ２が１に設定されているときに、ステップＳ２及びステップＳ９に進む。
　次いで、ニューラルネットワーク演算処理装置１は、第１制御信号Ｓ１を０に設定すると共に、第３制御信号Ｓ３を０に設定し（ステップＳ２）、更に、第２制御信号Ｓ２を０に設定する（ステップＳ９）。このとき、第１積和演算器１０は、上述した演算処理Ｐ１Ａ（２）を実行し（ステップＳ３）、複数の積ｘｉω１ｋの和Σω１ｋｘｉを第２入力変数ｉ１として算出する。また、第２積和演算器３０は、第１積和演算器１０の上記演算処理と並列に、上述した演算処理Ｐ２Ａ（１）を実行して（ステップＳ１０）、積ｗｊ０ｉ０、ｗｊ０ｉ２、ｗｊ０ｉ３、…ｗｐ０ｉ０の複数を算出し、演算処理Ｐ２Ａ（１）が終了する（ステップＳ１１）。その後、ニューラルネットワーク演算処理装置１は、第２制御信号Ｓ２を１に設定し、第２積和演算器３０は、第２制御信号Ｓ２を第１積和演算器１０に送信する（ステップＳ１２）。
　以後、ニューラルネットワーク演算処理装置１は上記の処理を繰り返し、第１積和演算器１０は、順次、第２入力変数ｉ２，ｉ３，ｉ４，…ｉｍを算出すると共に、第２積和演算器３０も、第１積和演算器１０の上記演算処理と並列に、順次積ｗｊ１ｉ１、ｗｊ２ｉ２、ｗｊ３ｉ３、…ｗｐｑｉｍの複数を算出する。そして、第２入力変数ｉｍの算出が完了すると、複数の積ｗ０ｋｉｉの和Σｗ０ｋｉｉを、出力値ｙ０として第２出力部３５－１及び／又は第２出力部３５－２を介して外部に出力する。また、同様にして、複数の積ｉｉｗ１ｋの和Σｗ１ｋｉｉ、複数の積ｗ２ｋｉｉの和Σｗ２ｋｉｉ、…複数の積ｗｐｋｉｉの和Σｗｐｋｉｉを、それぞれ出力値ｙ１，ｙ２，…ｙｐとして、第２出力部３５－１及び／又は第２出力部３５－２を介して外部に出力する。
　本変形例によっても、第１制御信号Ｓ１、第２制御信号Ｓ２及び第３制御信号を用いて、隠れ層４２と出力層４３の２層に亘る並列計算を行うことで、積和演算の更なる高速化、効率化を実現することができ、且つ回路規模の増大を抑制し、更には簡便な設計で積和演算を行うことができる。
　図１２は、図１のニューラルネットワーク演算処理装置１の構成の他の変形例を概略的に示す模式図である。
　図１２に示すように、ニューラルネットワーク演算処理装置１は、レジスタ２０と第２積和演算器３０との間に、活性化関数を用いて演算する活性化関数演算処理部５０を更に備えていてもよい。活性化関数演算処理部５０は、例えば、第２入力変数ｉ２，ｉ３，ｉ４，…ｉｍを入力として、活性化関数ｆ（ｉ）の算出結果を、第２積和演算器３０に出力する。本実施形態では、活性化関数ｆ（ｉ）は、例えば、ロジスティック・シグモイド関数、双曲線正接関数、ＲｅＬＵ関数あるいは恒等関数である。
　ニューラルネットワーク演算処理装置１は、第１積和演算器１０とレジスタ２０との間に活性化関数演算処理部を備えていてもよい。あるいは、第１積和演算器１０とレジスタとの間と、レジスタ２０と第２積和演算器３０との間の両方に、活性化関数演算処理部を備えていてもよい。
　このように、活性化関数演算処理部５０によって、第２入力変数ｉｉを用いて活性化関数ｆ（ｉ）を算出することで、高精度な演算処理を実行することができる。
　図１３は、図１０における第１積和演算器１０及び第２積和演算器３０の構成の変形例を概略的に示す模式図である。上記実施形態と同様の構成については、上記実施形態と同一の符号を付してその説明を省略し、異なる部分を以下に説明する。
　図１３に示すように、第１積和演算器１０は、上記第１入力変数と第１重みデータとの積の複数を演算する第１乗算器１３－１，１３－２と、２つの第１乗算器１３－１，１３－２で乗算された積の複数の和を演算する第１加算器１４－１，１４－２を備えていてもよい。
　本変形例によれば、第１積和演算器１０が複数の第１乗算器を備えるので、第１メモリ１１や第２メモリ１２と第１乗算器とが接続される経路数を増やすことができる。また、第１メモリ１１から上記第１入力変数を一度に読み出すデータ量を増大させることができると共に、第２メモリ１２から上記第１重みデータを一度に読み出すデータ量を増大させることができる。したがって、演算処理を更に効率良く実行することができる。
　図１４は、図１０のニューラルネットワーク演算処理装置１の構成の変形例を概略的に示す模式図である。上記実施形態と同様の構成については、上記実施形態と同一の符号を付してその説明を省略し、異なる部分を以下に説明する。
　図１４に示すように、ニューラルネットワーク演算処理装置１は、第１積和演算器１０－１，１０－２と、第１積和演算器１０－１，１０－２にそれぞれ接続されたレジスタ２０－１，２０－２と、レジスタ２０－１，２０－２に接続された第２積和演算器３０－１，３０－２とを備えていてもよい。
　第１積和演算器１０－１は、第１メモリ１１－１、第２メモリ１２－１、第１乗算器１３－１，１３－２、第１加算器１４－１，１４－２、第１出力部１５－１、第１信号送受信部１６－１及び信号送信部１７－１を備える。また、第１積和演算器１０－２は、第１メモリ１１－２、第２メモリ１２－２、第１乗算器１３－３，１３－４、第１加算器１４－３，１４－４、第１出力部１５－２、第１信号送受信部１６－２及び信号送信部１７－２を備える。
　第２積和演算器３０－１は、入力部３１－１、第３メモリ３２－１、第２乗算器３３－１，３３－２、第２加算器３４－１，３４－２、第２出力部３５－１，３５－２及び第２信号送受信部３６－１を備える。また、第２積和演算器３０－２は、入力部３１－２、第３メモリ３２－２、第２乗算器３３－３，３３－４、第２加算器３４－３，３４－４、第２出力部３５－３，３５－４及び第２信号送受信部３６－２を備える。
　また、ニューラルネットワーク演算処理装置１は、第１積和演算器１０－１とレジスタ２０－１との間、及び第１積和演算器１０－２とレジスタ２０－２との間に、制御信号中継器６０を更に備えることができる。制御信号中継器６０は、例えば、第１積和演算器１０－１から送信された第１制御信号Ｓ１を受信すると共に、当該第１制御信号Ｓ１を、第２積和演算器３０－１，３０－２のいずれか又は双方に送信する。更に、制御信号中継器６０は、第１積和演算器１０－２から送信された第１制御信号Ｓ１を受信すると共に、当該第１制御信号Ｓ１を、第２積和演算器３０－１，３０－２のいずれか又は双方に送信する。
　また、制御信号中継器６０は、例えば、第２積和演算器３０－１から送信された第２制御信号Ｓ２を受信すると共に、当該第２制御信号Ｓ２を、第１積和演算器１０－１，１０－２のいずれか又は双方に送信する。更に、制御信号中継器６０は、第２積和演算器３０－２から送信された第２制御信号Ｓ２を受信すると共に、当該第２制御信号Ｓ２を、第１積和演算器１０－１，１０－２のいずれか又は双方に送信する。
　更に、制御信号中継器６０は、例えば、第１積和演算器１０－１及び／又は第１積和演算器１０－２から送信された第３制御信号Ｓ３を受信すると共に、当該第３制御信号Ｓ３を、レジスタ２０－１及び／又はレジスタ２０－２に送信する。
　本変形例によれば、ニューラルネットワーク演算処理装置１が、複数の第１積和演算器と、複数のレジスタ及び複数の第２積和演算器を備えるので、演算処理を更に効率良く実行することができる。
　以上、本発明の実施形態について詳述したが、本発明は上記実施形態に限定されるものではなく、特許請求の範囲内に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
　例えば、以上に示した実施形態に係る各装置（例えば、ニューラルネットワーク演算処理装置１）の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体（記憶媒体）に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、処理を行ってもよい。
　なお、ここでいう「コンピュータシステム」とは、オペレーティング・システム（ＯＳ：Ｏｐｅｒａｔｉｎｇ　Ｓｙｓｔｅｍ）あるいは周辺機器等のハードウェアを含むものであってもよい。
　また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＤＶＤ（Ｄｉｇｉｔａｌ　Ｖｅｒｓａｔｉｌｅ　Ｄｉｓｃ）等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。また、記録媒体としては、例えば、一時的にデータを記録する記録媒体であってもよい。
　さらに、「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークあるいは電話回線等の通信回線を介してプログラムが送信された場合のサーバあるいはクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Ｄｙｎａｍｉｃ　Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ））のように、一定時間プログラムを保持しているものも含むものとする。
　また、上記のプログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）あるいは電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。
　また、上記のプログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、上記のプログラムは、前述した機能をコンピュータシステムに既に記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。
　コンピュータでは、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）などのプロセッサがメモリに記憶されたプログラムを読み出して実行する。
１　ニューラルネットワーク演算処理装置
１０　第１積和演算器
１０－１　第１積和演算器
１０－２　第１積和演算器
１１　第１メモリ
１１－１　第１メモリ
１１－２　第１メモリ
１２　第２メモリ
１２－１　第２メモリ
１２－２　第２メモリ
１３　第１乗算器
１３－１　第１乗算器
１３－２　第１乗算器
１３－３　第１乗算器
１３－４　第１乗算器
１４　第１加算器
１４－１　第１加算器
１４－２　第１加算器
１４－３　第１加算器
１４－４　第１加算器
１５　第１出力部
１５－１　第１出力部
１５－２　第１出力部
１６　第１信号送受信部
１６－１　第１信号送受信部
１６－２　第１信号送受信部
１７　信号送信部
１７－１　信号送信部
１７－２　信号送信部
２０　レジスタ
２０－１　レジスタ
２０－２　レジスタ
３０　第２積和演算器
３０－１　第２積和演算器
３０－２　第２積和演算器
３１　入力部
３１－１　入力部
３１－２　入力部
３２　第３メモリ
３２－１　第３メモリ
３２－２　第３メモリ
３３－１　第２乗算器
３３－２　第２乗算器
３３－３　第２乗算器
３３－４　第２乗算器
３４－１　第２加算器
３４－２　第２加算器
３４－３　第２加算器
３４－４　第２加算器
３５－１　第２出力部
３５－２　第２出力部
３５－３　第２出力部
３５－４　第２出力部
３６　第２信号送受信部
３６－１　第２信号送受信部
３６－２　第２信号送受信部
４０　ニューラルネットワーク
４１　入力層
４１Ａ　ノード
４１Ｂ　ノード
４１Ｃ　ノード
４１Ｄ　ノード
４１Ｅ　ノード
４２　隠れ層
４２Ａ　ノード
４２Ｂ　ノード
４２Ｃ　ノード
４２Ｄ　ノード
４３　出力層
４３Ａ　ノード
４３Ｂ　ノード
４３Ｃ　ノード
５０　活性化関数演算処理部
６０　制御信号中継器

Claims (12)

  1. 　１以上の第１積和演算器と、
    　前記１以上の第１積和演算器に接続された１以上のレジスタと、
    　前記１以上のレジスタに接続された１以上の第２積和演算器と、を備え、
    　前記第１積和演算器は、
    　複数の第１入力変数を格納した第１メモリと、
    　複数の第１重みデータを格納した第２メモリと、
    　前記第１入力変数と前記第１重みデータとの積の複数を演算する１以上の第１乗算器と、
    　前記１以上の第１乗算器で乗算された前記積の複数の和を演算する１以上の第１加算器と、
    　前記１以上の第１加算器で加算された前記和の複数を、複数の第２入力変数として前記レジスタに出力する１以上の第１出力部と、を有し、
    　前記第２積和演算器は、
    　複数の第２重みデータを格納した第３メモリと、
    　前記第２重みデータと前記レジスタに保持された前記第２入力変数との積の複数を演算する１以上の第２乗算器と、
    　前記１以上の第２乗算器で乗算された前記積の複数の和を演算する１以上の第２加算器と、
    　前記１以上の第２加算器で加算された前記和の複数を、複数の出力値として出力する１以上の第２出力部と、を有する、
    　ニューラルネットワーク演算処理装置。
  2. 　前記第２積和演算器で実行される演算処理の少なくとも一部を、前記第１積和演算器で実行される演算処理と並列に実行する、請求項１に記載のニューラルネットワーク演算処理装置。
  3. 　前記第１積和演算器１０で実行される演算処理Ｐ１を構成する演算数が（ｎ＋１）（ｎは０以上の整数）であり、前記第２積和演算器で実行される演算処理Ｐ２を構成する演算数が（ｑ＋１）（ｑは０以上の整数）である場合、
    　前記第１積和演算器で実行される前記演算処理Ｐ１の並列数Ｌ１は、演算数（ｎ＋１）の約数であり、前記第２積和演算器で実行される前記演算処理Ｐ２の並列数Ｌ２は、演算数（ｑ＋１）の約数である、請求項２に記載のニューラルネットワーク演算処理装置。
  4. 　前記演算処理Ｐ１を構成するパイプライン数Ｃ１及び前記演算処理Ｐ２を構成するパイプライン数Ｃ２の双方が、前記演算数（ｎ＋１）と前記演算数（ｑ＋１）の最大公約数である、請求項３に記載のニューラルネットワーク演算処理装置。
  5. 　前記第２積和演算器で実行される演算処理が終了するタイミングが、前記第１積和演算器の演算処理が終了するタイミングと同じである、請求項３又は４に記載のニューラルネットワーク演算処理装置。
  6. 　前記第２メモリ及び前記第３メモリの各々が、リングバッファメモリである、請求項１に記載のニューラルネットワーク演算処理装置。
  7. 　前記第１積和演算器と前記レジスタとの間と、前記レジスタと前記第２積和演算器との間の少なくとも一方に、活性化関数を用いて演算する１以上の活性化関数演算処理部を更に備える、請求項１に記載のニューラルネットワーク演算処理装置。
  8. 　前記１以上の第１乗算器は、複数の第１乗算器であり、
    　前記１以上の第１加算器は、複数の第１加算器である、請求項２～７のいずれか１項に記載のニューラルネットワーク演算処理装置。
  9. 　前記１以上の第２積和演算器は、複数の前記第２積和演算器であり、
    　前記複数の前記第２積和演算器が、前記１以上の第１積和演算器と並列に動作する、請求項２～８のいずれか１項に記載のニューラルネットワーク演算処理装置。
  10. 　前記１以上の第１積和演算器は、複数の前記第１積和演算器であり、
    　前記複数の前記第１積和演算器が、前記１以上の第２積和演算器と並列に動作する、請求項２～８のいずれか１項に記載のニューラルネットワーク演算処理装置。
  11. 　前記１以上の第１積和演算器は、複数の前記第１積和演算器であり、
    前記１以上の第２積和演算器は、複数の前記第２積和演算器であり、
    　前記複数の前記第１積和演算器が、前記複数の第２積和演算器と並列に動作する、請求項２～８のいずれか１項に記載のニューラルネットワーク演算処理装置。
  12. 　第１入力変数と第１重みデータとの積の複数を演算すると共に、前記積の複数の和を演算する第１演算工程と、
    　前記第１演算工程で演算された前記和の複数を、複数の第２入力変数として保持する保持工程と、
    　第２重みデータと前記第２入力変数との積の複数を演算すると共に、前記積の複数の和を演算する第２演算工程と、
    　前記第２演算工程で演算された前記和の複数を、複数の出力値として出力する第２出力工程と、を有し、
    　前記第２演算工程で実行される演算処理の少なくとも一部を、前記第１演算工程で実行される演算処理と並列して実行する、ニューラルネットワーク演算処理方法。
PCT/JP2019/013327 2019-03-27 2019-03-27 ニューラルネットワーク演算処理装置及びニューラルネットワーク演算処理方法 WO2020194594A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
PCT/JP2019/013327 WO2020194594A1 (ja) 2019-03-27 2019-03-27 ニューラルネットワーク演算処理装置及びニューラルネットワーク演算処理方法
US16/819,303 US11681498B2 (en) 2019-03-27 2020-03-16 Neural network arithmetic processing device and neural network arithmetic processing method
US18/199,426 US20230351150A1 (en) 2019-03-27 2023-05-19 Neural network arithmetic processing device and neural network arithmetic processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/013327 WO2020194594A1 (ja) 2019-03-27 2019-03-27 ニューラルネットワーク演算処理装置及びニューラルネットワーク演算処理方法

Publications (1)

Publication Number Publication Date
WO2020194594A1 true WO2020194594A1 (ja) 2020-10-01

Family

ID=72609694

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/013327 WO2020194594A1 (ja) 2019-03-27 2019-03-27 ニューラルネットワーク演算処理装置及びニューラルネットワーク演算処理方法

Country Status (2)

Country Link
US (1) US11681498B2 (ja)
WO (1) WO2020194594A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110083448B (zh) * 2018-01-25 2023-08-18 腾讯科技（深圳）有限公司 一种计算资源调整方法、装置以及相关设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10187648A (ja) * 1996-12-19 1998-07-21 Nec Corp ニューラルユニット演算方式およびその装置
JP2001067338A (ja) * 1999-08-30 2001-03-16 Mitsubishi Precision Co Ltd 高速たたみ込み演算方式とその演算器および高速補間方式と高速補間器
JP2002215386A (ja) * 2001-01-19 2002-08-02 Toshiba Corp 剰余演算装置、剰余演算方法、および、べき乗剰余演算方法
JP2017079017A (ja) * 2015-10-21 2017-04-27 キヤノン株式会社 畳み込み演算装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5216751A (en) * 1990-10-22 1993-06-01 Motorola, Inc. Digital processing element in an artificial neural network
JPH05346914A (ja) 1992-06-16 1993-12-27 Matsushita Electron Corp ニューロプロセッサ
JP3693367B2 (ja) * 1994-07-28 2005-09-07 富士通株式会社 積和演算器
JP5231949B2 (ja) 2008-11-12 2013-07-10 株式会社東芝 半導体装置、および、半導体装置によるデータ処理方法
CN112602054A (zh) * 2018-08-31 2021-04-02 弗莱克斯-罗技克斯技术公司 乘法器累加器电路、用于乘法累加的逻辑瓦片架构和包括逻辑瓦片阵列的ic

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10187648A (ja) * 1996-12-19 1998-07-21 Nec Corp ニューラルユニット演算方式およびその装置
JP2001067338A (ja) * 1999-08-30 2001-03-16 Mitsubishi Precision Co Ltd 高速たたみ込み演算方式とその演算器および高速補間方式と高速補間器
JP2002215386A (ja) * 2001-01-19 2002-08-02 Toshiba Corp 剰余演算装置、剰余演算方法、および、べき乗剰余演算方法
JP2017079017A (ja) * 2015-10-21 2017-04-27 キヤノン株式会社 畳み込み演算装置

Also Published As

Publication number Publication date
US11681498B2 (en) 2023-06-20
US20200349419A1 (en) 2020-11-05

Similar Documents

Publication Publication Date Title
JP6977239B2 (ja) 行列乗算器
US10534607B2 (en) Accessing data in multi-dimensional tensors using adders
EP3579150B1 (en) Operation apparatus and method for a neural network
US7814297B2 (en) Algebraic single instruction multiple data processing
EP3602280B1 (en) Accessing prologue and epilogue data
US5600843A (en) Ring systolic array system for synchronously performing matrix/neuron computation using data transferred through cyclic shift register connected in cascade of trays
US5187801A (en) Massively-parallel computer system for generating paths in a binomial lattice
US20040122887A1 (en) Efficient multiplication of small matrices using SIMD registers
US11017290B2 (en) Signal processing module, especially for a neural network and a neuronal circuit
WO2023065983A1 (zh) 计算装置、神经网络处理设备、芯片及处理数据的方法
WO2020194594A1 (ja) ニューラルネットワーク演算処理装置及びニューラルネットワーク演算処理方法
KR102553775B1 (ko) 연산 결과를 증명 및 검증하는 페어링 기반 영지식 증명 프로토콜 시스템
JP7435602B2 (ja) 演算装置および演算システム
CN112966729A (zh) 一种数据处理方法、装置、计算机设备及存储介质
JP2021060955A (ja) ニューラルネットワーク演算処理装置及びニューラルネットワーク演算処理方法
JP7038608B2 (ja) 半導体装置
US20230351150A1 (en) Neural network arithmetic processing device and neural network arithmetic processing method
JP7401513B2 (ja) ハードウェアにおけるスパース行列乗算
JP7251354B2 (ja) 情報処理装置、情報処理プログラム、及び情報処理方法
CN111985628A (zh) 计算装置及包括所述计算装置的神经网络处理器
WO2024024755A1 (ja) 演算処理装置
US11379557B2 (en) Device and method for flexibly summing matrix values
JP3708072B2 (ja) 半導体演算装置
Sizonenko et al. Software implementation of parallel matrix computations for linear recurrent sequence and numerical methods for estimating its efficiency
CN106921395A (zh) Ldpc编码方法及其装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19921707

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19921707

Country of ref document: EP

Kind code of ref document: A1