WO2019077933A1 - 演算回路および演算方法 - Google Patents

演算回路および演算方法 Download PDF

Info

Publication number
WO2019077933A1
WO2019077933A1 PCT/JP2018/034834 JP2018034834W WO2019077933A1 WO 2019077933 A1 WO2019077933 A1 WO 2019077933A1 JP 2018034834 W JP2018034834 W JP 2018034834W WO 2019077933 A1 WO2019077933 A1 WO 2019077933A1
Authority
WO
WIPO (PCT)
Prior art keywords
output
circuit
input
elements
vector
Prior art date
Application number
PCT/JP2018/034834
Other languages
English (en)
French (fr)
Inventor
正志 森
田中　進
和茂 橋本
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to DE112018004972.8T priority Critical patent/DE112018004972T5/de
Priority to US16/645,599 priority patent/US11281376B2/en
Priority to JP2019549165A priority patent/JP6906622B2/ja
Priority to CN201880066106.8A priority patent/CN111201525A/zh
Publication of WO2019077933A1 publication Critical patent/WO2019077933A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061—Improving I/O performance
    • G06F3/0613—Improving I/O performance in relation to throughput
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G06N3/065—Analogue means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/14—Handling requests for interconnection or transfer
    • G06F13/20—Handling requests for interconnection or transfer for access to input/output bus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0629—Configuration or reconfiguration of storage systems
    • G06F3/0631—Configuration or reconfiguration of storage systems by allocating resources to storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0673—Single storage device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Definitions

  • the present disclosure relates to an arithmetic circuit and an arithmetic method, and, for example, to an arithmetic circuit and an arithmetic method suitably used for arithmetic operations performed in parallel using a plurality of arithmetic units.
  • CNN Convolutional Neural Network
  • CNN consists of a convolution layer that performs convolution operations, a pooling layer that calculates local statistics, and an entire combined layer.
  • the convolutional layer repeatedly performs a product-sum operation of the corresponding part of the input feature map and the kernel while scanning the kernel (also referred to as a filter) on a pixel basis on the input feature map, and the final product-sum operation result is non-linear Output feature map is generated by conversion.
  • the main operation in these layers is the operation (Ax + b) of the sum of the product of the large matrix (A) with many zero-valued elements and the vector (x) and the offset (b).
  • processing time is reduced by processing operations by a parallel processing device using a plurality of computing units.
  • Patent Document 1 describes a vector having a plurality of operation pipelines Disclose a processor. This vector processor causes the pipeline not executing an instruction to execute the next vector operation instruction, when the number of data to be operated on of one vector operation instruction is not an integral multiple of the number of pipelines. This speeds up parallel processing.
  • Patent Document 2 discloses a product-sum operation device that reads N data in a predetermined address order and performs a product-sum operation.
  • This product-sum operation unit does not generate an address corresponding to data having a value of 0 when generating an address of a storage device storing data when N pieces of data include the value 0.
  • the product-sum operation of data having the value 0 is not performed, the amount of operation is reduced, and speeding up of the operation is realized.
  • the operation processing of the product of the matrix (A) and the vector (x) in the parallel operation device having a plurality of operation units is roughly divided into (i) matrix (A) of which each operation unit is an object of operation Elements and offsets (b), processing of fetching input vector (x) from an external device, (ii) processing of executing operations in parallel using data fetched by a plurality of computing units, and (iii)
  • the computing unit is configured to output the result of the computation to an external device.
  • the operation processing time is shortened, so that requests for access from each computing unit to the external device are likely to occur simultaneously.
  • arbitration such as arranging and reordering the access requests from each arithmetic unit is required, and data input processing (i) and data output processing from an external device (iii Processing time is not shortened. Therefore, the overall processing time is limited by data input processing (i) and data output processing (iii) despite speeding up of parallel arithmetic processing, and as a result, the overall processing time can not be reduced as much as expected. Become.
  • Patent Document 1 discloses a technique for speeding up parallel operation processing, but does not disclose a technique related to shortening the processing time of the data input processing (i) or the data output processing (iii) described above.
  • Patent Document 2 discloses a technique for speeding up the operation by not generating an address corresponding to data having a value 0, but the data input process (i) or the data output described above in parallel operation processing is disclosed. It does not disclose a technique for shortening the processing time of the treatment (iii).
  • the present disclosure takes the above problems into consideration, and an object thereof is to provide an arithmetic circuit and an arithmetic method capable of shortening the overall processing time.
  • the arithmetic circuit in one embodiment includes: a parallel arithmetic circuit including a plurality of arithmetic units configured to multiply an input vector from the right by a coefficient matrix including non-zero elements and zero elements, and output an operation result to an output vector; And an input interface including a plurality of storage circuits.
  • the arithmetic circuit supplies the elements of the vector to be operated by the operator in the order to be operated, to each operator.
  • the plurality of computing units respectively correspond to the plurality of storage circuits.
  • Each memory circuit is an input memory circuit for storing elements of an input vector, a coefficient memory circuit including a ring buffer, and the coefficient memory circuit for storing elements of a row or column vector constituting a coefficient matrix in the ring buffer And.
  • the elements of the input vector and the elements of the coefficient matrix have indices that specify the order in which the elements are to be multiplied.
  • the input interface includes input vector and coefficient matrix elements, based on the indexes of the elements, to an input storage circuit corresponding to one computing element out of the plurality of computing elements and to a ring buffer of the coefficient storage circuit, respectively. It is configured to store in order.
  • Each operator sequentially performs multiplication of elements of the row or column vector of the coefficient matrix of the memory circuit and the corresponding elements of the input vector, and based on the indices of the elements, the result of the multiplication is the corresponding element of the output vector It is configured to integrate to
  • the element of the input vector or the element of the row or column vector constituting the coefficient matrix is an input memory corresponding to one of the plurality of arithmetic elements based on the index of the element.
  • the circuit and coefficient storage circuit are stored in the order of the order to be calculated in the ring buffer.
  • each operation is repeated when the operation using elements of the same row or column vector of the coefficient matrix is repeated while changing the input vector.
  • the process of initializing the coefficient storage circuit can be omitted at the start of the process. In addition, by omitting the initialization process, it is possible to shorten the overall processing time required for parallel computation.
  • FIG. 2 is a diagram showing an example of the configuration of the arithmetic circuit 12 according to the first embodiment in association with peripheral circuits. 5 is a diagram for explaining the computing unit CLk of FIG. 4 in association with input / output data.
  • FIG. 2 is a diagram showing configurations of an input I / F and an output I / F according to the first embodiment.
  • FIG. 2 is a diagram showing an example of configurations of an input storage circuit, an output storage circuit, and a coefficient storage circuit according to the first embodiment.
  • FIG. 2 is a diagram schematically illustrating a storage method according to the first embodiment.
  • FIG. 2 is a diagram showing an example of a configuration of an input conversion circuit according to a first embodiment.
  • FIG. 1 is a diagram showing an example of a configuration of an output conversion circuit according to a first embodiment.
  • FIG. 6 is a diagram showing a specific example of the association between the computing unit CLk shown in FIG. 5 and an element to be computed.
  • 7 is a flowchart illustrating parallel processing according to the first embodiment.
  • FIG. 7 is a diagram showing a configuration of an input I / F and an output I / F of an arithmetic circuit 12A according to a second embodiment. It is a figure which shows the structure of the input notification circuit 133C of FIG. FIG.
  • FIG. 16 is a diagram showing the configuration of an input I / F and an output I / F of an arithmetic circuit 12B according to a third embodiment.
  • FIG. 16 is a diagram showing the configuration of the output notification circuit 143 of FIG. 15 in association with peripheral circuits.
  • FIG. 17 is a diagram showing the configuration of an input I / F and an output I / F of an arithmetic circuit 12B according to a fourth embodiment.
  • FIG. 18 is a diagram showing the configuration of an input I / F and an output I / F of an arithmetic circuit 12D according to a fifth embodiment.
  • FIG. 18 is a diagram showing the configuration of an input I / F and an output I / F of an arithmetic circuit 12E according to a sixth embodiment.
  • FIG. 21 is a diagram showing the configuration of an input I / F and an output I / F of an arithmetic circuit 12F according to a seventh embodiment.
  • FIG. 18 is a diagram showing a configuration of an arithmetic circuit according to an eighth embodiment.
  • FIG. 18 is a diagram showing a configuration of an arithmetic circuit according to a ninth embodiment.
  • FIG. 21 is a diagram showing a configuration of an arithmetic circuit according to a tenth embodiment. It is a figure which shows typically an example of the structure which can perform calculation according to the "matrix case" of the arithmetic circuit which concerns on each embodiment of this invention. It is a figure which shows typically another example of the structure which can perform calculation according to the "matrix case” of the arithmetic circuit which concerns on each embodiment of this invention.
  • FIG. 1 is a flowchart showing operation processing by CNN.
  • CNN includes an input layer S201, convolutional layers S202 and S204, pooling layers S203 and S205, a total coupling layer S206, and an output layer S207.
  • the input layer S201 receives input of data to be processed, such as image data.
  • the output layer S207 outputs the final result after data processing.
  • the combination of the convolution layer and the pooling layer (S202, S203; S204, S205) is repeated twice for simplicity, but may be repeated more times.
  • the input data of the convolutional layer is called an input feature map
  • the output data of the convolutional layer is called an output feature map.
  • the convolutional layers S202 and S204 repeatedly perform a product-sum operation of the corresponding part of the input feature map and the kernel while scanning the kernel (also referred to as a filter) on a pixel basis on the input feature map, and perform the final product-sum operation.
  • Output feature maps are generated by non-linear transformation of the results.
  • the elements of the kernel also called "weights" are determined in advance by learning. Details of the convolution operation will be described later with reference to FIG.
  • the pooling layers S203 and S205 reduce the space size of the feature map by performing an operation to combine local regions of the output feature map into one element.
  • the pooling layers S203 and S205 for example, take the maximum value of the local region, and average elements included in the local region.
  • the entire bonding layer S206 is provided adjacent to the output layer S207 in one or more layers.
  • Each neuron in S206 of the total connection layer has connections with all neurons in the adjacent layer.
  • FIG. 2 is a diagram for explaining the convolution operation.
  • output data 102 is generated by a convolution operation of input data 100 as an input feature map and kernel 101.
  • Output feature data is generated by adding a bias to each element of the output data 102 and further applying an activation function.
  • a non-linear function such as ReLU (Rectified Linear Unit) is used as the activation function.
  • the input data size is (7, 7) and the kernel size is (3, 3) for simplicity.
  • the perimeter 104 of the input data 100 may be filled with fixed data (e.g., 0) to adjust the output data size. This is called padding. Padding having a width of 1 and a value of 0 is applied to the input data 100 of FIG.
  • elements of the kernel 101 are multiplied by corresponding elements of the input data 100 while sliding the kernel 101 at regular intervals on the input data 100 including the padding part, and their sum is obtained. That is, a product-sum operation is performed. The result of the product-sum operation is stored in the corresponding element of the output data 102.
  • the interval at which the kernel 101 is slid is referred to as stride. In the case of FIG. 2, the stride is one.
  • the product-sum operation result “30” is stored at the position of the corresponding element 106 of the output data 102.
  • the product-sum operation result “13” is stored at the position of the corresponding element 107 of the output data 102.
  • FIG. 3 is a diagram for explaining the development of the feature map and the kernel.
  • the feature map in order to shorten the processing time of the convolution operation, the feature map is expanded into one column by connecting the respective rows of the feature map.
  • the input vector 110 of FIG. 3 is generated by connecting the respective rows of the input data 100 of FIG.
  • the output data 102 of FIG. 2 is also expanded into one column by connecting the rows one by one.
  • the number of elements of the output vector corresponding to the output data 102 is also 49.
  • Kernel 101 of FIG. 2 is expanded into a matrix such that when the input vector 110 is multiplied from the right, an output vector corresponding to the output data 102 of FIG. 2 is generated.
  • the coefficient matrix 111 is thereby generated.
  • the number of rows of the coefficient matrix 111 is 49 in the first to 49th rows, and the number of columns of the coefficient matrix 111 is 49 in the first to 49th columns.
  • the first row of the coefficient matrix 111 is (3, 2, 0, 0, 0, 0, 0, 1, 3, 0, 0, 0), and the kernel 101 of FIG. It corresponds to the case where it is located in the frame 105 of the thick broken line of.
  • the ninth row of the coefficient matrix 111 is (3, 2, 1, 0, 0, 0, 0, 1, 3, 2, 2, 0, 0, 0, 0, 2, 1, 3, 3, 0, ... , 0), which corresponds to the case where the kernel 101 of FIG. 2 is positioned in the thick solid frame 103 on the feature map.
  • data "30" stored at the position of the corresponding element 106 of the output data 102 of FIG. 2 is generated.
  • the matrix equation executed in the convolution operation is generally represented by equation (1). That is, the output vector f of the convolution operation is obtained by multiplying the coefficient matrix A by the input vector x from the right and adding the bias vector b to the result of the operation.
  • the coefficient matrix A is characterized in that it contains a relatively large number of elements whose value is zero.
  • the elements of the output vector f are f 1 ,..., F n .
  • An element of the i-th output vector f is described as f i or f (i).
  • An element of the j-th input vector x is described as x j or x (j).
  • the elements of the bias vector b are b 1 ,..., B n .
  • An element of the i-th bias vector b is described as b i or b (i).
  • the coefficient matrix A is configured by the first to n-th n rows and the first to m-th m columns.
  • An element of the coefficient matrix A in the i-th row and the j-th column is described as A ij or A (i, j).
  • the value ij or j which is an index of each element, is an identifier of the element, and an operator CLk described later which should operate the element and the element designate and operate the operator CLk. It is also possible to specify the order to be done.
  • FIG. 4 is a diagram showing an example of the configuration of the arithmetic circuit 12 according to the first embodiment in association with peripheral circuits.
  • the arithmetic circuit 12 is an example of the “arithmetic unit”.
  • Arithmetic circuit 12 includes a plurality of arithmetic units CLk. Each computing unit CLk is provided corresponding to each row of the coefficient matrix A.
  • each arithmetic unit CLk executes the product-sum operation in parallel with the other arithmetic units CLk.
  • the control circuit 30 includes a processor 31 and a memory 32 including, for example, a non-volatile storage medium.
  • the memory 32 stores a control program 150 for controlling the arithmetic circuit 12.
  • Arithmetic circuit 12 inputs an external input device 61 for inputting data for arithmetic operation to arithmetic circuit 12, an external output device 63 for outputting the arithmetic result from arithmetic circuit 12 to the outside, and an external such as a static random access memory (SRAM).
  • a storage device 62 is connected via a bus 45.
  • a central processing unit (CPU) 51 including a memory 50 is connected to the external input device 61, the external storage device 62, and the external output device 63 via a bus 40.
  • the memory 50 stores the coefficient matrix A, the input vector x and the bias vector b, and the calculation result of the calculation circuit 12.
  • the CPU 51 controls the external input device 61, the external storage device 62, and the external output device 63.
  • the CPU 51 reads the coefficient matrix A, the input vector x and the bias vector b from the memory 50 and outputs the coefficient matrix A, the input vector x and the bias vector b to the input I / F 122 of the arithmetic circuit 12 through the external input device 61 or the external storage device 62.
  • the external output device 63 receives an operation result from the output I / F 123 and outputs the input operation result to the CPU 51 via the bus 40.
  • the CPU 51 stores the calculation result from the external output device 63 in the memory 51. Further, the calculation result from the output I / F 123 may be stored in the external storage device 62.
  • the external storage device 62 and the external output device 63 are connected to the output I / F 123 via a plurality of wired or wireless circuits.
  • the output I / F 123 includes a port 17 that connects each line.
  • the memory 51 may be connected to the bus 40 instead of the CPU 50.
  • the external storage device 62 may include the memory 50.
  • FIG. 5 is a diagram for explaining the computing unit CLk of FIG. 4 in association with input / output data.
  • arithmetic unit CLk includes an accumulator T1, a multiplier T2, an adder T3 and a register T4.
  • a coefficient storage circuit 132 and an input storage circuit 133 which can be read from the computing unit CLk are connected to the computing unit CLk.
  • the “input storage circuit” is a circuit that stores an input to the parallel operation circuit 121 between the parallel operation circuit 121 and the external device.
  • the coefficient storage circuit 132 and the input storage circuit 133 are included in the input I / F 122 of FIG.
  • FIG. 5 shows one of the plurality of computing units CLk of the parallel computing device, the other computing units have the same configuration.
  • the coefficient storage circuit 132 stores the elements A k1 to A kn of the k-th row of the coefficient matrix A and the k-th element b k of the bias vector b. Further, in the input storage circuit 133, elements x 1 to x n of the input vector x are stored.
  • the accumulator T1 adds the element b k read from the input storage circuit 133 and the sum from the adder T3 and adds the addition result to the accumulated value sum. Thus, one operation process is completed.
  • Such a product-sum operation consisting of the sum of the product of the element A km of the coefficient storage circuit 132 and the corresponding element x m of the input storage circuit 133 and the accumulated value sum is repeated n times.
  • each computing unit CLk performs the product-sum operation of the assigned row independently of the other computing units CLk, the element A km of the coefficient storage circuit 132 and the element x m of the corresponding input storage circuit 133. Repeat the total number (m) of the set of. As a result, the accumulated value sum of the accumulator T1 of each computing unit CLk is output to the output I / F 123 as the element f k of the output vector f.
  • FIG. 6 is a diagram showing the configuration of an input I / F and an output I / F according to the first embodiment.
  • the configurations of the input I / F and the output I / F are shown in association with peripheral circuits excluding the control circuit 30.
  • the parallel operation circuit 121 connects the shared memory 124.
  • the shared memory 124 is configured to be writable and readable by each computing unit CLk.
  • input I / F 122 includes an input conversion circuit 131, a coefficient storage circuit 132, and an input storage circuit 133.
  • the output I / F 123 includes an output conversion circuit 141 and an output storage circuit 142.
  • the “output storage circuit” is a circuit that stores the output from the parallel operation circuit 121 between the parallel operation circuit 121 and the external device.
  • FIG. 7 is a diagram showing an example of configurations of an input storage circuit, an output storage circuit, and a coefficient storage circuit according to the first embodiment.
  • FIG. 8 is a diagram schematically illustrating the storage method according to the first embodiment.
  • FIG. 9 is a diagram showing an example of the configuration of the input conversion circuit according to the first embodiment.
  • FIG. 10 is a diagram showing an example of the configuration of the output conversion circuit according to the first embodiment.
  • the plurality of storage circuits MIk are provided corresponding to the respective operation units CLk, that is, provided corresponding to the respective rows of the input vector x, and are configured to be readable by the corresponding operation units CLk.
  • Memory circuit MIk includes a plurality of registers for storing element x j of input vector x.
  • the plurality of storage circuits MOk are configured so that the element f i of the output vector f can be written and the element f i can be read.
  • the plurality of storage circuits Ck are provided corresponding to the respective operation units CLk, that is, provided corresponding to the respective rows of the coefficient matrix A, and are configured to be readable by the corresponding operation units CLk.
  • Storage circuit Ck for example as shown in FIG. 8 (B), comprising a plurality of registers for storing elements A ij elements b i and the coefficient matrix A in the bias vector b.
  • the input conversion circuit 131 has, for example, the configuration shown in FIG. Referring to FIG. 9, input conversion circuit 131 includes selector 13 corresponding to each storage circuit of coefficient storage circuit 132 and input storage circuit 133, and table or dedicated circuit 15.
  • the table or dedicated circuit 15 outputs the selection command 151 to each selector.
  • Selection command 151 selects any one of elements A ij of coefficient matrix A from external storage device 62 or external input device 61, elements x j of input vector x and elements b i of bias vector b, Indicates a command to write to the memory circuit.
  • the selection command 151 includes, for example, the index values of the element A ij , the element x j and the element b i .
  • each selector 13 receives the received element A ij , an element According to the index of x j and element b i and selection command 151, the element is selected, and the selected element A ij , element x j and element b i are written in corresponding memory circuit MIk or memory circuit Ck.
  • the selector 13 selects only the non-zero element A ij among the elements A ij according to the selection command 151. Then, the selector 13 stores the selected element A ij and element b i in the corresponding storage circuit Ck.
  • Each selector 13 of input conversion circuit 131 selects element x j to be stored in corresponding memory circuit MIk in accordance with the index of element x j received from external storage device 62 or external input device 61 and selection command 151. . In this selection, the selector 13 selects only the element x j corresponding to the non-zero element A ij according to the selection command 151. Selector 13 stores the selected element x j in the corresponding memory circuit MIk.
  • selector 13 of input conversion circuit 131 corresponds to the corresponding storage in the order indicated by the index value of the element.
  • the selector 13 among the plurality of registers of the storage circuit Ck containing the elements A ij to a register addressed value indicated by the index of the element A ij (the number) as an address.
  • the selector 13 stores the element b i in a predetermined register different from the register of the element A ij among the plurality of registers of the memory circuit Ck.
  • the selector 13 among the plurality of registers of the storage circuit MIk containing the elements x j to a register addressed value indicated by the index of the element x j a (numerical) as an address.
  • the storage circuit Ck and the storage circuit MIk store the element x j necessary for the product-sum operation of the corresponding computing unit CLk, the non-zero element A ij and the element b i .
  • non-zero elements A ij are stored in the order to be calculated
  • elements b i corresponding to non-zero elements A ij are stored in the order to be calculated Be done.
  • Table of input conversion circuit or dedicated circuit In the first embodiment, it is determined in advance which row of the coefficient matrix A each operation unit CLk is assigned, and the position in the input vector x of the element x j to be calculated with the non-zero element A ij. There is. Therefore, information indicating such predetermined contents is stored in the table or dedicated circuit 15, and the dedicated circuit generates and generates selection commands 151 for each selector 13 according to the stored information. The selected command 161 is output to the selector 13. If the assignment of the row of the coefficient matrix A to the computing unit CLk and the position in the input vector x of the element x j to be computed as the nonzero element A ij are not changed, the table or dedicated circuit 15 is fixed Can be configured as a circuit of
  • the output conversion circuit 141 has, for example, the configuration shown in FIG. Referring to FIG. 10, output conversion circuit 141 includes a plurality of selectors 14 and a table or dedicated circuit 16. The plurality of selectors 14 correspond to the plurality of storage circuits MOk of the output storage circuit 142, respectively. Memory circuit MOk includes one or more registers.
  • the output f i stored in the output storage circuit 142 is output to the external storage device 62 or the external output device 63, but the output f that can be simultaneously output to the external storage device 62 or the external output device 63
  • the number of i is predetermined. Therefore, the output storage circuit 142 has the same number of storage circuits MOk as the number of outputs f i that can be output simultaneously.
  • the plurality of storage circuits MOk are connected to the external storage device 62 or the external output device 63 via the port 17 respectively.
  • Each selector 14 of the output conversion circuit 141 when storing the output f i from the parallel arithmetic operation circuit 121 in the memory circuit MOk, based on the value of the index of the output f i and selection command 161 from a table or dedicated circuit 16, a plurality One of the storage circuits MOk (ie, one of the plurality of ports 17) is determined, and the output f i is stored in the determined storage circuit MOk.
  • the index of the output f i also plays the role as an identifier for identifying the output f i.
  • the selector 14, when storing the output f i determines the address from the index of the selection command 161 output f i, are addressed by the determined address to store the output f i in the register of the storage circuit MOk.
  • the table or dedicated circuit 16 stores the reference information described above.
  • the table or dedicated circuit 16 generates a selection command 161 addressed to each selector 14 based on the stored reference information, and outputs the generated selection command 161 to the selector 14.
  • the plurality of rows of coefficient matrix A correspond one-to-one to the plurality of computing units CLk
  • the position (capacity, number of registers) for storing the output f i of each memory circuit MOk may be only one.
  • the table or dedicated circuit 16 selects, for each selector 14, an instruction to select which one of the elements f i which is the operation result from the parallel operation circuit 121 to write to the corresponding memory circuit MOk.
  • the command 161 is output.
  • the selection command 161 includes, for example, the index value of the element f i .
  • the selector 14 the memory circuit MOk the parallel arithmetic operation circuit 121 selects an element f i on the basis of the selection command 161 from among the elements f i for color of each calculator CLk of the corresponding selected elements f i Store in Each memory circuit MOk is composed of a plurality of registers.
  • the output conversion circuit 141 stores the element f i in the register of the memory circuit MOk in the order according to the selection command 161.
  • the memory circuit MIk, the memory circuit MOk, and the memory circuit Ck include a plurality of addressable registers, the invention is not limited to the configuration using the registers.
  • any addressable storage circuit may be used, and may be configured to include, for example, an SRAM.
  • FIG. 11 is a diagram showing a specific example of the association between the computing unit CLk shown in FIG. 5 and the element to be computed.
  • the input conversion circuit 131 According to the input conversion circuit 131, only the non-zero element A ij and the element x j to be calculated by the corresponding operation unit CLk are stored in the storage circuit Ck and the storage circuit MIk. And they are stored in the order to be calculated.
  • multiplier T2 of operation unit CLk only reads elements from memory circuit Ck and memory circuit MIk in order in synchronization with the clock, and only the element to be subjected to product-sum operation in operation unit CLk is operated. It can be acquired according to the order to be done.
  • the method of storing coefficients is the first method of FIG. 8 (A) and the second method of FIG. 8 (B). Including the scheme of
  • 1 nd method corresponds to one line L of the corresponding memory circuit Ck to the element b i to continue with the coefficient matrix A calculator CLk Element A ij is stored in the order of index.
  • the coefficient read from the storage circuit Ck can be stored in the output storage circuit 142 via the output conversion circuit 141 by skipping the parallel operation circuit 121. .
  • the original coefficient data The second method (element A ij corresponding to the element b i and a line L), adds a flag F to specify the execution mode.
  • the flag F instructs the parallel operation circuit 121 on the type of processing such as operation to be performed using each coefficient (element A ij or element b i ) stored in the storage circuit Ck. Do.
  • the type of processing indicated by the execution flag is the product of element A ij and element x j , product-sum operation, loading of coefficient (element A ij or element b i ), input data (element x j ), Writing to the shared memory 124 (eg, writing the operation result (element f j )), reading from the shared memory 124, skipping each coefficient (element A ij or element b i ), the parallel operation circuit 121 And the output storage circuit 142 via the output conversion circuit 141.
  • the storage circuit Ck stores elements A ij corresponding to a plurality of rows L1 in the order of the index. It can also be transformed into
  • the arithmetic circuit 12 can be configured by an application specific integrated circuit (ASIC) or a field programmable gate array (FPGA) including a plurality of arithmetic units capable of executing the matrix operation represented by the above equation (1) by parallel operation.
  • ASIC application specific integrated circuit
  • FPGA field programmable gate array
  • the parallel operation circuit 121 including the plurality of operation units CLk may be configured to execute a plurality of processes (for example, product-sum operation) in parallel.
  • the parallel operation circuit 121 is configured by a multi-core processor obtain. In that case, the plurality of processor cores respectively correspond to the plurality of computing units CLk.
  • the nonzero elements A ij of the matrix A and the corresponding elements x j of the input vector are stored in the coefficient storage circuit 132 via the input conversion circuit 131 at the time of initialization processing of the arithmetic circuit 12. It can be done. If the value of the nonzero element A ij of the matrix A and the value of the corresponding element x j of the input vector are fixed, the coefficient storage circuit 132 stores the value of the element x j corresponding to the nonzero element A ij May include a read only memory (ROM).
  • ROM read only memory
  • the product-sum operation for one row of the matrix A may be performed by two or more operators CLk.
  • the output storage circuit 142 can be used to store the calculation result of each calculator CLk in order to sum the calculation results from each calculator CLk.
  • a configuration specialized to the convolution operation capable of avoiding duplicate reading or reference of input data may be added between external storage device 62 or external input device 61 and input conversion circuit 131 of arithmetic circuit 12. .
  • the processing for cutting out the image part of the image from the line buffer as the input vector x requires line buffer fetching and kernel coefficient register (window) having the same number of lines as the height of a normal convolution kernel. It assumes that it takes in input data from.
  • a line buffer has a ring buffer structure in which data is fetched in raster scan order, and the oldest line is used as a next data fetch line when data for a line is fetched. Also good.
  • FIG. 12 is a flowchart illustrating parallel processing according to the first embodiment.
  • the process according to the flowchart of FIG. 12 is stored as the control program 150 in the memory 32 of the control circuit 30.
  • the processor 31 reads the control program 150 from the memory 32 and executes the read control program 150.
  • step S1 the processor 31 performs an initialization process
  • the processor 31 activates the input conversion circuit 131 to perform the initialization process.
  • Input conversion circuit 131 stores non-zero elements A ij of coefficient matrix A from external storage device 62 or external input device 61 and elements b i of bias vector b in a plurality of storage circuits Cn of coefficient storage circuit 132. .
  • the selector 13 corresponding to the memory circuit Cn, based on the index and selection command 151 elements A ij and element b i, the selected element A ij and element b i It is stored in the corresponding storage circuit Cn.
  • the arithmetic circuit 12 shifts to the normal processing.
  • the processor 31 of the control circuit 30 determines that the elements x 1 ,..., X m of the input vector x are output from the external storage device 62 or the external input device 61 to the arithmetic circuit 12.
  • the conversion circuit 131 stores the elements x 1 ,..., X m in the input storage circuit 133 (step S3).
  • the selector 13 stores the selected element x j in the corresponding memory circuit MIk based on the index of the elements x 1 ,..., X m and the selection command 151.
  • each storage circuit Ck is stored in the order in which non-zero elements A ij are to be calculated, and each storage circuit MI k is a non-zero element A ij.
  • the elements b i corresponding to are stored in the order to be calculated.
  • the processor 31 of the control circuit 30 causes the parallel operation circuit 121 to perform the operation (step S7).
  • coefficient data non-zero elements A ij and elements b i ) are stored in the memory circuit Ck according to the first method shown in FIG. 8A will be described.
  • Each operation unit CLk of the parallel operation circuit 121 has a nonzero element A ij read from the position (address) of the corresponding storage circuit Ck and an element x j read from the address corresponding to the address of the corresponding storage circuit MIk. Is repeated for each of the elements A ij stored in the memory circuit Ck, thereby completing the (product-sum operation processing) described above. In all arithmetic units CLk, the product-sum operation process is performed simultaneously (in parallel).
  • the processor 31 of the control circuit 30 outputs the accumulated value sum (output f i ), which is the operation result, to the output conversion circuit 141 when the product-sum operation processing is completed in all the operation units CLk. To control. Further, the processor 31 controls the output conversion circuit 141 to store the output f i from each computing unit CLk in each storage circuit MOk using a control command (step S9).
  • the processor 31 of the control circuit 30 determines whether the storage of the output f i is completed (step S11). If the processor 31 determines that the storage is not completed (NO in step S11), the process returns to step S11, but if the processor 31 determines that the storage is completed (YES in step S11), the processor 31 converts the output storage circuit 142 into The output f i stored in each memory circuit MOk is controlled to be output to the external storage device 62 or the external output device 63 (step S13). At this time, the output storage circuit 142 reads out the outputs f i in the order stored from the storage circuits MOk, and sends the read out outputs f i to the line in the read order. The sending of the output f i from each storage circuit MOk to the external storage device 62 or the external output device 63 is simultaneously performed.
  • the processor 31 of the control circuit 30 determines whether the arithmetic processing has been completed (step S15). If the processor 31 determines that the process has ended, the process of FIG. 12 ends (YES in step S15), but if it determines that the process does not end (NO in step S15), the process returns to step S3.
  • the determination in step S15 is made based on, for example, an instruction from the CPU 51.
  • the storage method of the storage circuit Ck of the coefficient storage circuit 132 is the first method of FIG. 8A, but it is the second storage method of FIG. 8B. It is also good.
  • the parallel operation circuit 121 adds the flag F corresponding to the element A ij to each element A ij stored in the memory circuit Ck corresponding to each operation unit CLk of the coefficient storage circuit 132. It performs operations or processing of the type indicated by the instruction. Also in this case, all the computing units CLk of the parallel computing circuit 121 operate simultaneously.
  • the operation for one row of the coefficient matrix A is distributed to two (or more) computing units CLk in order to equalize the amount of operations for each computing unit CLk of the parallel computing circuit 121.
  • the parallel operation circuit 121 calculates the sum of the results calculated by the two (or more) computing units CLk to which the assignment has been made, using the shared memory 124. Further, when the number of computing units CLk to which the assignment is made is not large, the number of the assignment processing for all the operation numbers is small, and the influence of the assignment processing on the computation performance of the computation circuit 12 can be ignored.
  • the coefficient data (element A ij) is to be calculated by the computing unit CLk in the storage circuits Ck and MIk which can be read only by each computing unit CLk of the parallel computing circuit 121 by the input I / F 122.
  • the elements b i ) and the input data (element x j ) can be stored prior to the operation. This makes it possible to reliably avoid contention for access (reading) of coefficient data and input data when all the arithmetic units CLk simultaneously (parallelly) carry out an operation, thereby performing parallel processing at high speed. It becomes possible.
  • FIG. 13 is a diagram showing the configuration of the input I / F and the output I / F of the arithmetic circuit 12A according to the second embodiment.
  • the arithmetic circuit 12A of FIG. 13 has an input I / F 122A different from the input I / F 122 of FIG.
  • the other configuration of arithmetic circuit 12A is the same as that of FIG. 6 and therefore description will not be repeated.
  • input I / F 122A includes input conversion circuit 131A and input notification circuit 133C in place of input conversion circuit 131 and input storage circuit 133.
  • FIG. 14 is a diagram showing a configuration of the input notification circuit 133C of FIG. 14, input notification circuit 133C includes a plurality of selectors 13A including the function of selector 13 of FIG. 9 and the output function of notification N. The plurality of selectors 13A correspond to computing units CLk, respectively.
  • input conversion circuit 131A When input conversion circuit 131A receives element x j of input vector x from external input device 61 or external storage device 62, based on the value of the index of element x j , the element x x among the plurality of operation units CLk A computing unit CLk that performs an operation using j is identified, and the element x j is output only to the identified computing unit CLk. Further, at this time, in the input notification circuit 133C of FIG. 14, the selector 13A corresponding to the operator CLk specified by the input conversion circuit 131A outputs the notification N of the operation to the corresponding operator CLk.
  • the input conversion circuit 131A directly inputs the element x j to the computing unit CLk.
  • the computing unit CLk that has not received a notification from the input notification circuit 133C can pause the computing unit CLk that does not need to perform computation using the element x j . Therefore, the circuit scale and power consumption of the arithmetic circuit 12 can be reduced.
  • FIG. 15 is a diagram showing the configuration of the input I / F and the output I / F of the arithmetic circuit 12B according to the third embodiment.
  • the arithmetic circuit 12B of FIG. 15 has an output I / F 123B different from the output I / F 123 of FIG.
  • the other configuration of arithmetic circuit 12B is similar to that of FIG. 6, and therefore description will not be repeated.
  • output I / F 123B includes an output conversion circuit 141, an output storage circuit 142, and an output notification circuit 143.
  • FIG. 16 is a diagram showing the configuration of the output notification circuit 143 of FIG. 15 in association with peripheral circuits.
  • output notification circuit 143 includes a table 144 and a determination circuit 145.
  • the table 144 stores, for example, index information identifying an output f i to be sent to the external storage device 62 or the external output device 63.
  • the index information indicates an output f i of the type or number required by the external storage device 62 or the external output device 63.
  • the determination circuit 145 performs a monitoring process 1451 that monitors the output f i sent from each computing unit CL k via the output conversion circuit 141. In the monitoring process 1451, for example, the index of the output f i is read.
  • the determination circuit 145 determines that the notification N1 is stored in the external storage device 62 when it determines that all outputs f i of the necessary type or number indicated by the index information in the table 144 have been output from the parallel operation circuit 121 based on the monitoring result. Or output to the external output device 63.
  • External storage device 62 or external output device 63 pauses until notification N1 is output from determination circuit 145, and is activated when notification N1 is received from determination circuit 145, and outputs f i from output storage circuit 142.
  • Accept
  • the period until output notification circuit 143 outputs notification N 1, ie, bus 40 it is possible to pause the external storage device 62 or the external output device 63 in a period during which data output to the external device is not required. As a result, the amount of power consumption of the external storage device 62 or the external output device 63 can be reduced.
  • FIG. 17 is a diagram showing the configuration of the input I / F and the output I / F of the arithmetic circuit 12B according to the fourth embodiment.
  • the arithmetic circuit 12C of FIG. 17 includes the input I / F 122A of the second embodiment and the output I / F 123B of the third embodiment.
  • Embodiment 5 shows a modification of the first embodiment.
  • FIG. 18 is a diagram showing the configuration of an input I / F and an output I / F of an arithmetic circuit 12D according to the fifth embodiment.
  • the arithmetic circuit 12D of FIG. 18 has an input I / F 122D different from the input I / F 122 of FIG.
  • Other configurations of arithmetic circuit 12D are similar to those of FIG. 6, and therefore description will not be repeated.
  • input I / F 122D includes an input conversion circuit 131, a coefficient storage circuit 132, a duplex input storage circuit 133A and a duplex input storage circuit 133B.
  • the input storage circuit 133 of FIG. 6 is duplicated by the dual input storage circuits 133A and 133B.
  • Each of the dual input storage circuits 133A and 133B has the same configuration as the input storage circuit 133 described in the first embodiment, and can perform the same operation.
  • the processor 31 of the control circuit 30 switches one function of the dual input storage circuits 133A and 133B to a function that accepts the element x j from the external input device 61 or the external storage device 62, and the other function in parallel. It switches to the function of outputting the element x j to the arithmetic circuit 121.
  • the processor 31 switches one function to the function of outputting the element x j to the parallel operation circuit 121 when each of the duplexed input storage circuits 133A and 133B completes each operation, and the other function to the external input It switches to a function that accepts the element x j from the device 61 or the external storage device 62.
  • the dual input storage circuits 133 A and 133 B are used. It becomes possible for the arithmetic circuit 12D to simultaneously execute the process of receiving the element x j from the external input device 61 or the external storage device 62 and the arithmetic process by the parallel arithmetic circuit 121. Therefore, it is possible to speed up the calculation speed by the calculation circuit 12D.
  • FIG. 19 is a diagram showing the configuration of an input I / F and an output I / F of an arithmetic circuit 12E according to the sixth embodiment.
  • the arithmetic circuit 12E of FIG. 19 has an output I / F 123E different from the output I / F 123 of FIG.
  • Other configurations of arithmetic circuit 12E are similar to those of FIG. 6 and therefore description will not be repeated.
  • output I / F 123E includes output conversion circuit 141, duplex output storage circuit 142A and duplex output storage circuit 142B.
  • the output storage circuit 142 of FIG. 6 is duplicated by the dual output storage circuits 142A and 142B.
  • Each of the dual output storage circuits 142A and 142B has the same configuration as the output storage circuit 142 described in the first embodiment, and can perform the same operation.
  • the processor 31 of the control circuit 30 switches one function of the dual output storage circuits 142A and 142B to the function of storing the output f i from the parallel operation circuit 121 via the output conversion circuit 141 in the storage circuit MOk, Function is switched to a function of reading out the output f i from the memory circuit MOk and transmitting the read out output f i to the external storage device 62 or the external output device 63.
  • duplexing output storage circuit 142A, each 142B is, upon completion of each operation, the delivery of one of the functions from the memory circuit MOk reads the output f i, the external storage device 62 or the external output device 63 The other function is switched to the function of storing the output f i from the parallel operation circuit 121 via the output conversion circuit 141 in the storage circuit MOk.
  • the sixth embodiment can be applied, for example, in the case where it is required to rapidly output the output f i from the arithmetic circuit 12 to the external storage device 62 or the external output device 63.
  • the processing of outputting the output f i to the external storage device 62 or the external output device 63 by the output storage circuit being duplicated, and the operation processing by the parallel operation circuit 121 Can be performed simultaneously (in parallel), and the processing speed of the arithmetic circuit 12 can be further speeded up.
  • Embodiment 7 The seventh embodiment shows a modification of the first embodiment.
  • FIG. 20 is a diagram showing the configuration of an input I / F and an output I / F of an arithmetic circuit 12F according to the seventh embodiment.
  • the arithmetic circuit 12F of FIG. 20 includes the duplex input storage circuits 133A and 133B of the fifth embodiment and the duplex output storage circuits 142A and 142B of the sixth embodiment.
  • Arithmetic circuit 12F of the seventh embodiment includes an input storage circuit and an output storage circuit in duplicate. According to operation circuit 12F, reception of element x j output at high speed from external input device 61 or external storage device 62, high-speed transmission of output f i to external storage device 62 or external output device 63, and parallel operation Arithmetic processing by the circuit 121 is simultaneously enabled.
  • FIG. 21 is a diagram showing the configuration of an arithmetic circuit according to the eighth embodiment.
  • the arithmetic circuit of FIG. 21 includes an arithmetic circuit 12G and an arithmetic circuit 12H connected to the arithmetic circuit 12G.
  • the arithmetic circuit 12G although the output I / F 123 of the arithmetic circuit 12 of the first embodiment is deleted, the other parts are the same as the arithmetic circuit 12.
  • the arithmetic circuit 12H includes an input I / F 122H, a parallel arithmetic circuit 121, and an output I / F 123.
  • the input I / F 122H includes an input / output conversion circuit 131H, a coefficient storage circuit 132, and an input storage circuit 133.
  • the configuration other than input / output conversion circuit 131H is the same as the configuration provided in arithmetic circuit 12 of the first embodiment, and therefore the description will not be repeated.
  • the input / output conversion circuit 131H directly receives the outputs f i from the plurality of computing units CLk of the computing circuit 12G, and is computed by the computing units CLk for each computing unit CLk of the computing circuit 12H from the received outputs f i.
  • the output f i to be identified is specified.
  • the input / output conversion circuit 131H stores the specified output f i in the order to be calculated in the memory circuit MIk of the input memory circuit 133 corresponding to the arithmetic unit CLk.
  • the number of connected arithmetic circuits 12 may be three or more.
  • two or more arithmetic circuits 12 can be connected.
  • two or more arithmetic circuits 12 can be connected in an LSI (Large-Scale Integration) circuit.
  • the input / output conversion circuit 131H is provided at the connection portion connecting the arithmetic circuits, whereby the selector 14 (the output conversion circuit 141 and the input conversion circuit 131) Alternatively, two processes using the selector 13) can be completed by one process by the input / output conversion circuit 131H. Therefore, even if a plurality of arithmetic circuits are connected, the processing can be speeded up.
  • FIG. 22 is a diagram showing the configuration of an arithmetic circuit according to the ninth embodiment.
  • the arithmetic circuit of FIG. 22 includes an arithmetic circuit 12G and an arithmetic circuit 12I connected to the arithmetic circuit 12G.
  • the output I / F 123 of the arithmetic circuit 12 of the first embodiment is deleted, the other parts are the same as the arithmetic circuit 12, and therefore the description will not be repeated.
  • the arithmetic circuit 12I includes an input I / F 122H, a parallel arithmetic circuit 121, and an output I / F 123B.
  • the parallel operation circuit 121 and the output I / F 123B are similar to those shown in the third embodiment.
  • the input I / F 122I includes the input / output conversion circuit 131H, the output notification circuit 143I, the coefficient storage circuit 132, and the input storage circuit 133 described in the eighth embodiment. Since input / output conversion circuit 131H, coefficient storage circuit 132 and input storage circuit 133 are similar to those shown in the third or eighth embodiment, the description will not be repeated.
  • the output notification circuit 143I outputs the notification N2 to each arithmetic unit CLk of the arithmetic circuit 12I. Specifically, when the input / output conversion circuit 131H stores the output f i from the plurality of operation units CLk of the previous operation circuit 12G in the storage circuit MIk corresponding to each operation unit CLk of the operation circuit 12I, output notification circuit 143I determines whether the output f i to be computed prior to the output f i in the storage circuit MIk is stored. The output notification circuit 143I performs this determination, for example, based on the value of the index of the output f i .
  • the output notification circuit 143I When it is determined that all the outputs f i to be calculated first are stored in the storage circuit MIk, the output notification circuit 143I outputs the notification N2 to the computing unit CLk corresponding to the storage circuit MIk. Thereby, operation unit CLk receives the notification N2 that all the elements x j (that is, output f i ) necessary for starting the product-sum operation are stored in corresponding memory circuit MIk, the product-sum operation Can be started.
  • the number of connected arithmetic circuits 12 may be three or more.
  • the ninth embodiment it is possible to connect two or more arithmetic circuits 12B shown in the third embodiment.
  • two or more arithmetic circuits 12B are connected in an LSI circuit, by providing the input / output conversion circuit 131H at the connection portion, two processes of the processing of the output conversion circuit 141 and the processing by the input conversion circuit 131 are performed. Can be completed by one process by the input / output conversion circuit 131H. Therefore, even if a plurality of arithmetic circuits are connected, the processing can be speeded up.
  • FIG. 23 is a diagram showing the configuration of an arithmetic circuit according to the tenth embodiment.
  • the arithmetic circuit of FIG. 23 includes an arithmetic circuit 12J and an arithmetic circuit 12K connected to the arithmetic circuit 12J.
  • the output I / F 123 is deleted from the arithmetic circuit 12F shown in the seventh embodiment, but the other configurations are the same as those of the arithmetic circuit 12F, and therefore the description will not be repeated.
  • the arithmetic circuit 12K also includes an input I / F 122K, a parallel arithmetic circuit 121, and an output I / F 123E.
  • the input I / F 122 K includes an input / output conversion circuit 131 K, dual input storage circuits 133 A and 133 B, and a coefficient storage circuit 132.
  • the configuration other than input / output conversion circuit 131K in operation circuit 12K is the same as that of operation circuit 12F in the seventh embodiment, and therefore the description will not be repeated.
  • the input / output conversion circuit 131 K directly receives the outputs f i from the plurality of arithmetic units CL k of the arithmetic circuit 12 J, and calculates the arithmetic units CL k for each arithmetic unit CL k of the arithmetic circuit 12 K from the received outputs f i.
  • the output f i to be identified is specified.
  • the input / output conversion circuit 131 K stores the specified output f i in the order to be calculated in the memory circuit MIk of the input memory circuit 133 corresponding to the arithmetic unit CLk.
  • the number of connected arithmetic circuits may be three or more.
  • the tenth embodiment it is possible to connect two or more arithmetic circuits 12F shown in the seventh embodiment.
  • two or more arithmetic circuits 12F are connected in an LSI circuit, by providing the input / output conversion circuit 131K at the connection portion, two processes of the processing of the output conversion circuit 141 and the processing of the input conversion circuit 131 are performed. Can be completed by one process by the input / output conversion circuit 131K. Therefore, even if a plurality of arithmetic circuits are connected, the processing can be speeded up.
  • FIG. 24 is a diagram schematically showing an example of a configuration capable of executing an operation according to the “matrix case” of the operation circuit according to each embodiment of the present invention.
  • Embodiment 1 Embodiment 8
  • the arithmetic circuit of can be configured to be able to calculate a product-sum operation according to the “matrix case” as shown in FIG.
  • FIG. 24 shows an arithmetic unit CLk capable of executing the product-sum operation of the n ⁇ n coefficient matrix A and the n ⁇ n matrix X corresponding to the input data 100.
  • the operation unit CLk has the same configuration as that shown in FIG. 11, and therefore the description will not be repeated.
  • the coefficient storage circuit 132R readable from the computation unit CLk, the coefficient storage circuit 132 storing the elements of the bias vector b, and the input storage circuit 133 are connected to the computation unit CLk.
  • the input storage circuit 133 has the same configuration as that shown in FIG.
  • the coefficient storage circuit 132R includes a ring buffer as indicated by a broken line.
  • FIG. 24 shows one of the plurality of computing units CLk included in the computing unit, the other computing units CLk also have the same configuration.
  • the matrix X is considered to be composed of n column vectors, and the elements of the matrix X are input to the input storage circuit 133 of FIG. 24 in the order of column priority.
  • elements x k1 to x kn of the k-th column of the matrix X are stored.
  • the arithmetic unit CLk repeats the product-sum operation for one column of the matrix X for each column of the matrix X as in the case of the first to eighth embodiments.
  • the arithmetic unit CLk performs a product-sum operation on the k-th row of the coefficient matrix A and each column of the matrix X, and outputs n values of the product-sum operation (corresponding to the output fi).
  • a non-zero element A ij is selected among the elements of the k-th row of the coefficient matrix A, and a product-sum operation using the selected non-zero element A ij is performed.
  • the k-th row of the coefficient matrix A does not contain the nonzero element A ij .
  • the values of the n product-sum operations output from operation unit CLk are stored in n registers RG of memory circuit AMOk, respectively.
  • n registers RG of memory circuit AMOk For example, when the arithmetic unit CLk executes a product-sum operation using the k-th column of the matrix X, the value of the product-sum operation corresponds to the k-th register RG of the memory circuit AMOk (indicated by hatching). The state stored in the stored register RG) is shown.
  • the product-sum operation of the k-th column of the matrix X is completed, and then the next column (k + 1-th column) is performed.
  • the product-sum operation it is necessary to initialize the input of the coefficient matrix A of the arithmetic unit CLk before starting the product-sum operation of the next column. For example, initialization is required to enable reading from the first element of the kth row of the coefficient matrix A. Therefore, the start of the product-sum operation of the next column may be delayed by the time taken for the initialization.
  • the elements of the kth row of the coefficient matrix A are stored in the ring buffer of the coefficient storage circuit 132R.
  • the arithmetic unit CLk of FIG. 24 performs the product-sum operation of the next column (k + 1-th column) without the above initialization. It can start. Therefore, it is possible to carry out the product-sum operation in the "matrix case" at high speed.
  • Embodiment 1 Also in the product-sum operation of the coefficient matrix A and the input vector x as described above, a coefficient storage circuit including a ring buffer can be used. Therefore, by applying the operation circuit of FIG. 24, it is possible to speed up the product-sum operation in both the matrix-vector product-sum operation and the matrix-matrix product-sum operation according to the “matrix case”.
  • FIG. 25 is a view schematically showing another example of the configuration capable of executing the operation according to the “matrix case” of the operation circuit according to each embodiment of the present invention.
  • Embodiment 1 Embodiment 8 The arithmetic circuit as shown in FIG. 25 can be applied to the arithmetic circuit of FIG. Similarly to FIG. 24, FIG. 25 also shows an arithmetic unit CLk capable of executing the product-sum operation of the n ⁇ n coefficient matrix A and the n ⁇ n matrix X.
  • the arithmetic circuit comprises an output interface 123R.
  • the elements of matrix X are stored in the order of row priority in input storage circuit 133, and the elements of the kth column of coefficient matrix A are stored in coefficient storage circuit 132R. .
  • matrix X is considered to be composed of row vectors
  • coefficient matrix A is considered to be composed of column vectors.
  • operator CLk of FIG. 25 stores the stored elements x k1 to x kn And a k-th column element A k1 to A kn of the coefficient matrix A to perform a product-sum operation.
  • a nonzero element A ij is selected among the elements A k1 to A kn and a product-sum operation is performed using the selected non-zero element A ij .
  • the k-th column of the coefficient matrix A does not contain nonzero elements A ij .
  • the processor 31 determines the order of the elements Tij to be read from the matrix T, and outputs the control command CM to the output interface 123R so that the elements Tij are read from the register RG in the determined order.
  • the control command CM includes, as input data to the next arithmetic circuit 12, designation of whether the input data conforms to the column priority order or the input data conforms to the row priority order.
  • Output interface 123R reads element Tij from n ⁇ n registers RG in accordance with control command CM. Thereby, the next arithmetic circuit 12 can receive the elements x ij of the matrix X of the input data in the order of the column priority or the row priority.
  • the output interface 123R reads the element Tij from the output storage circuit 142R in accordance with the control command CM.
  • the processor 31 sets the control command CM based on, for example, the type of input data (that is, the element T ij of the matrix T) to be subjected to product-sum operation processing. This type may include an image. If the type of input data is an image, the processor 31 sets a read command of “row priority” in the control command CM, and otherwise sets a read command of “column priority”.
  • the output interface 123R reads the elements Tij from the n ⁇ n registers RG in the row priority order according to the index, and the control command CM indicates “column priority”.
  • elements Tij are read in the order of column priority according to the index.
  • the next arithmetic circuit 12 inputs the input Tj element of matrix T (ie, matrix X) arranged according to either column priority or row priority. It can be accepted, and the reordering process of the elements x ij of the matrix X can be omitted. Thereby, the arithmetic circuit 12 can perform the product-sum operation process at high speed.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Neurology (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Complex Calculations (AREA)

Abstract

全体の処理時間を短縮し得る演算回路を提供する。演算回路は、非零要素と零要素とを含む係数行列に右から入力ベクトルを掛け、演算結果を出力ベクトルに出力する複数の演算器（ＣＬｋ）を含む並列演算回路と、複数の記憶回路を含む入力インターフェイス（１２２）を備える。入力ベクトルおよび係数行列の各要素は、当該要素が乗算されるべき順番を指定するインデックスを有する。各記憶回路は、入力ベクトルの要素をインデックスに基づく順番で記憶する入力記憶回路（１３３）と、係数行列を構成する行または列ベクトルの要素をインデックスに基づく順番で記憶するリングバッファを含む係数記憶回路（１３２）とを有する。各演算器は、記憶回路の係数行列の要素と入力ベクトルの対応する要素との乗算を順次実行し、当該要素のインデックスに基づき、乗算の結果を出力ベクトルの対応する要素に積算する。

Description

演算回路および演算方法
　この開示は、演算回路および演算方法に関し、たとえば、複数の演算器を用いて並列に実施される演算に好適に用いられる演算回路および演算方法に関する。
　画像処理、声紋分析、ロボディクスなどパターン認識がなされる多くの分野において、畳み込みニューラルネットワーク（ＣＮＮ：Convolutional　Neural　Network）と呼ばれる演算方法がしばしば用いられる。一般にＣＮＮは、畳み込み演算を行う畳み込み層、局所統計量を計算するプーリング層、および全結合層で構成される。畳み込み層は、カーネル（フィルタとも称する）を入力特徴マップ上において画素単位で走査させながら、入力特徴マップの対応部分とカーネルとの積和演算を繰り返して行い、最終的な積和演算結果を非線形変換することによって出力特徴マップを生成する。
　これらの層における主要な演算は、０値要素が多い大規模な行列（Ａ）とベクトル（ｘ）の積とオフセット（ｂ）との和の演算(Ａｘ+ｂ)である。従来は、複数の演算器を用いた並列処理装置により演算を処理することにより、演算にかかる時間を短縮している。
　０値要素が多い大規模な行列（Ａ）とベクトル（ｘ）の演算を高速化する技術として、例えば、特開２００９－２５１７２４号公報（特許文献１）は、複数の演算パイプラインを持つベクトルプロセッサを開示する。このベクトルプロセッサは、１つのベクトル演算命令の演算対象となるデータ数がパイプライン数の整数倍で無い場合に、命令を実行していないパイプラインに、次のベクトル演算命令を実行させる。これにより、並列処理の高速化がなされている。
　また、特開２００３－６７３６０号公報（特許文献２）は、Ｎ個のデータを所定のアドレス順で読出して積和演算を行う積和演算装置を開示する。この積和演算装置は、Ｎ個のデータが値０を含む場合、データを格納する記憶装置のアドレスを生成するとき、値０であるデータに対応のアドレスを生成しない。これにより、値０であるデータの積和演算が実施されず、演算量が削減されて、演算の高速化が実現されている。
特開２００９－２５１７２４号公報 特開２００３－６７３６０号公報
　複数の演算器を有する並列演算装置における行列（Ａ）とベクトル（ｘ）の積の演算処理は、基本的に、大きく分けて（ｉ）各演算器が演算の対象となる行列（Ａ）の要素とオフセット（b）、入力のベクトル(ｘ)を外の装置から取り込む処理、（ｉｉ）複数の演算器が取込まれたデータを用いて並列に演算を実行する処理、および（ｉｉｉ）各演算器が演算の結果を外部の装置に出力する処理で構成される。
　このような構成によれば、並列演算の並列性が高まると演算処理時間は短縮されるために、各演算器から外部装置へのアクセスの要求が同時に発生しやすくなる。同時に複数のアクセス要求が発生した場合、各演算器からのアクセス要求に順序をつけて並べ直す等の調停が必要とされて、外部の装置からのデータ入力処理（ｉ）とデータ出力処理（ｉｉｉ）の処理時間が短縮されない。そのため、並列演算処理が高速化されたにもかかわらず、データ入力処理（ｉ）とデータ出力処理（ｉｉｉ）により全体の処理時間が律速され、結果として全体の処理時間を思うほど短縮できないことになる。
　特許文献１は、並列演算処理の高速化の技術を開示するが、上記に述べたデータ入力処理（ｉ）またはデータ出力処理（ｉｉｉ）の処理時間の短縮に関する技術を開示していない。
　また、特許文献２は、値０であるデータに対応のアドレスを生成しないことにより、演算を高速化する技術を開示するが、並列演算処理における上記に述べたデータ入力処理（ｉ）またはデータ出力処理（ｉｉｉ）の処理時間の短縮に関する技術を開示していない。
　この開示は、上記の課題を考慮したものであり、その目的は、全体の処理時間を短縮することが可能な演算回路および演算方法を提供することである。
　一実施形態における演算回路は、非零要素と零要素とを含む係数行列に右から入力ベクトルを掛け、演算結果を出力ベクトルに出力するよう構成される複数の演算器を含む並列演算回路と、複数の記憶回路を含む入力インターフェイスと、を備える。演算回路は、各演算器に、当該演算器で演算されるべきベクトルの要素を、演算されるべき順番で供給する。複数の演算器は、複数の記憶回路にそれぞれ対応する。各記憶回路は、入力ベクトルの要素を記憶する入力記憶回路と、リングバッファを備える係数記憶回路であって、当該リングバッファに係数行列を構成する行または列ベクトルの要素を格納する係数記憶回路と、を有する。入力ベクトルの要素および係数行列の要素は、当該要素が乗算されるべき順番を指定するインデックスを有する。入力インターフェイスは、入力ベクトルと係数行列の各要素を、当該要素が有するインデックスに基づき、複数の演算器のうちの１の演算器に対応した入力記憶回路と係数記憶回路のリングバッファに、それぞれ、順番に従い格納するよう構成される。各演算器は、記憶回路の係数行列の行または列ベクトルの要素と入力ベクトルの対応する要素との乗算を順次実行し、当該要素のインデックスに基づき、当該乗算の結果を出力ベクトルの対応する要素に積算するように構成される。
　上記の実施形態によれば、入力ベクトルの要素または係数行列を構成する行または列ベクトルの要素は、当該要素が有するインデックスに基づき、複数の演算器のうちの１の演算器に対応した入力記憶回路と係数記憶回路のリングバッファに、演算されるべき順番に従い格納される。これにより、各演算器が演算を実施する前に、入力記憶回路または係数記憶回路を介して、当該演算器の演算に必要な入力ベクトルの要素と係数行列を構成する行または列ベクトルの要素のみを、演算されるべき順番で準備しておくことができる。したがって、要素の並べ替え処理は不要となり並列演算にかかる全体の処理時間を短縮することができる。
　また、係数行列を構成する行または列ベクトルの要素はリングバッファに格納されるから、入力ベクトルを変化させながら係数行列の同一の行または列ベクトルの要素を用いた演算を繰返す場合に、各演算の開始時に係数記憶回路を初期化する処理を省略することができる。また、初期化処理が省略されることで、並列演算にかかる全体の処理時間を短縮することができる。
ＣＮＮによる演算処理を示すフローチャートである。 畳み込み演算について説明するための図である。 特徴マップおよびカーネルの展開について説明するための図である。 本実施の形態１に係る演算回路１２の構成の一例を、周辺回路と関連付けて示す図である。 図４の演算器ＣＬｋと入出力データを関連付けて説明する図である。 本実施の形態１に係る入力Ｉ／Ｆと出力Ｉ／Ｆの構成を示す図である。 本実施の形態１に係る入力記憶回路と出力記憶回路と係数記憶回路の構成の一例を示す図である。 本実施の形態１に係る記憶方式を模式的に説明する図である。 本実施の形態１に係る入力変換回路の構成の一例を示す図である。 本実施の形態１に係る出力変換回路の構成の一例を示す図である。 図５で示した演算器ＣＬｋと演算されるべき要素の関連付けの具体例を示す図である。 本実施の形態１に係る並列処理の説明するフローチャートである。 本実施の形態２に係る演算回路１２Ａの入力Ｉ／Ｆと出力Ｉ／Ｆの構成を示す図である。 図１３の入力通知回路１３３Ｃの構成を示す図である。 本実施の形態３に係る演算回路１２Ｂの入力Ｉ／Ｆと出力Ｉ／Ｆの構成を示す図である。 図１５の出力通知回路１４３の構成を周辺回路と関連付けて示す図である。 本実施の形態４に係る演算回路１２Ｂの入力Ｉ／Ｆと出力Ｉ／Ｆの構成を示す図である。 本実施の形態５に係る演算回路１２Ｄの入力Ｉ／Ｆと出力Ｉ／Ｆの構成を示す図である。 本実施の形態６に係る演算回路１２Ｅの入力Ｉ／Ｆと出力Ｉ／Ｆの構成を示す図である。 本実施の形態７に係る演算回路１２Ｆの入力Ｉ／Ｆと出力Ｉ／Ｆの構成を示す図である。 本実施の形態８に係る演算回路の構成を示す図である。 本実施の形態９に係る演算回路の構成を示す図である。 本実施の形態１０に係る演算回路の構成を示す図である。 本発明の各実施の形態に係る演算回路の「行列ケース」に従う演算を実行可能な構成の一例を模式的に示す図である。 本発明の各実施の形態に係る演算回路の「行列ケース」に従う演算を実行可能な構成の他の例を模式的に示す図である。
　以下、各実施の形態について図面を参照して詳しく説明する。なお、同一または相当する部分には同一の参照符号を付して、その説明を繰り返さない。なお、この開示による演算回路および演算方法は、ＣＮＮにおける畳み込み演算において好適に用いられるものであるが、ＣＮＮに限らず他の分野にも適用することができる。
　実施の形態１．
　［ＣＮＮの処理］
　最初にＣＮＮについて簡単に説明する。図１は、ＣＮＮによる演算処理を示すフローチャートである。
　図１を参照して、ＣＮＮは、入力層Ｓ２０１と、畳み込み層Ｓ２０２，Ｓ２０４と、プーリング層Ｓ２０３，Ｓ２０５と、全結合層Ｓ２０６と、出力層Ｓ２０７とを含む。
　入力層Ｓ２０１は、画像データなどの処理対象のデータの入力を受ける。出力層Ｓ２０７は、データ処理後の最終結果を出力する。図１では、簡単のために畳み込み層とプーリング層の組み合わせ（Ｓ２０２，Ｓ２０３；Ｓ２０４，Ｓ２０５）が２回繰り返されているが、さらに多数回繰り返されていてもよい。
　畳み込み層の入力データを入力特徴マップといい、畳み込み層の出力データを出力特徴マップという。畳み込み層Ｓ２０２，Ｓ２０４は、カーネル（フィルタとも称する）を入力特徴マップ上において画素単位で走査しながら、入力特徴マップの対応部分とカーネルとの積和演算を繰り返して行い、最終的な積和演算結果を非線形変換することによって出力特徴マップを生成する。カーネルの要素（「重み」とも称する）は事前に学習によって決定される。畳み込み演算の詳細は図２を参照して後述する。
　プーリング層Ｓ２０３，Ｓ２０５は、出力特徴マップの局所領域をひとつの要素にまとめるような動作を行うことによって特徴マップの空間サイズを小さくするものである。プーリング層Ｓ２０３，Ｓ２０５は、たとえば、局所領域の最大値を取ったり、局所領域に含まれる要素を平均化したりする。
　全結合層Ｓ２０６は、出力層Ｓ２０７に隣接して１または複数層設けられる。全結合層のＳ２０６の各ニューロンは、隣接層の全てのニューロンとの結合を有する。
　［畳み込み演算］
　図２は、畳み込み演算について説明するための図である。図２に示すように、入力特徴マップとしての入力データ１００とカーネル１０１との畳み込み演算によって出力データ１０２が生成される。出力データ１０２の各要素にバイアスを加算し、さらに活性化関数を施すことによって出力特徴データが生成される。活性化関数として、たとえば、ＲｅＬＵ（Rectified　Linear　Unit）などの非線形関数が用いられる。
　図２の例では、簡単のために入力データサイズを（７，７）とし、カーネルサイズを（３，３）としている。出力データサイズの調整のために、入力データ１００の周囲１０４が固定データ（たとえば、０）で埋められていてもよい。これをパッディングと称する。図２の入力データ１００には、幅が１で値が０のパディングが適用されている。
　畳み込み演算では、パディングの部分を含めた入力データ１００の上においてカーネル１０１を一定間隔でスライドさせながら、カーネル１０１の要素と対応する入力データ１００の要素とを乗算し、それらの和が求められる。すなわち、積和演算が実行される。積和演算の結果は、出力データ１０２の対応する要素に格納される。カーネル１０１をスライドさせる間隔をストライドと称する。図２の場合、ストライドは１である。
　具体的に、カーネル１０１の配置が図２の太い実線の枠１０３に対応している場合、積和演算結果である「３０」は出力データ１０２の対応する要素１０６の位置に格納される。カーネル１０１の配置が図２の太い破線の枠１０５に対応している場合、積和演算結果である「１３」は、出力データ１０２の対応する要素１０７の位置に格納される。
　［特徴マップおよびカーネルの展開］
　図３は、特徴マップおよびカーネルの展開について説明するための図である。本実施の形態１の場合、畳み込み演算の処理時間を短縮するために、特徴マップの各行をつなぎ合わせることによって特徴マップが１列に展開される。
　具体的に、図２および図３を参照して、図２の入力データ１００の各行をつなぎ合わせることによって図３の入力ベクトル１１０が生成される。入力データ１００に対応する入力ベクトル１１０の要素数は７×７＝４９である。図２の出力データ１０２も行ごとにつなぎ合わせることによって１列に展開される。出力データ１０２に対応する出力ベクトルの要素数も４９である。
　図２のカーネル１０１は、入力ベクトル１１０を右から掛けたときに、図２の出力データ１０２に対応する出力ベクトルが生成されるように行列に展開される。これによって係数行列１１１が生成される。係数行列１１１の行数は第１行から第４９行までの４９であり、係数行列１１１の列数は第１列から第４９列までの４９である。なお、図３に示す係数行列１１１において空白部分のマス目の要素は０である。
　具体的に、係数行列１１１の第１行は、（３，２，０，０，０，０，０，１，３，０，…，０）であり、図２のカーネル１０１が特徴マップ上の太い破線の枠１０５に位置する場合に相当する。この係数行列１１１の第１行と入力ベクトル１１０との積和演算が実行されることによって、図２の出力データ１０２の対応する要素１０７の位置に格納されるデータ「１３」が生成される。
　同様に、係数行列１１１の第９行は、（３，２，１，０，０，０，０，１，３，２，０，０，０，０，２，１，３，０，…，０）であり、図２のカーネル１０１が特徴マップ上の太い実線の枠１０３に位置する場合に相当する。この係数行列１１１の第９行と入力ベクトル１１０との積和演算が実行されることによって、図２の出力データ１０２の対応する要素１０６に位置に格納されるデータ「３０」が生成される。
　図２においてパディングが適用されていない場合には、入力データ１００に対応する入力ベクトル１１０には変更はなく、その要素数は４９である。出力データ１０２のデータサイズは（５，５）になるので、出力データ１０２に対応する出力ベクトルの要素数は、５×５＝２５になる。また、カーネル１０１に対応する係数行列１１１の行数は２５になり、その列数は４９になる。
　畳み込み演算において実行される行列演算式は一般に式（１）で表される。すなわち、畳み込み演算の出力ベクトルｆは、係数行列Ａに入力ベクトルｘを右から掛け、その演算結果にバイアスベクトルｂを加算することによって得られる。ここで、係数行列Ａは、値が０である要素を比較的多く含んでいる点に特徴がある。
Figure JPOXMLDOC01-appb-M000001
　この明細書では、出力ベクトルｆの要素をｆ1，…，ｆnとする。第ｉ番目の出力ベクトルｆの要素をｆiまたはｆ（ｉ）と記載する。入力ベクトルｘの要素をｘ1，…，ｘmとする。第ｊ番目の入力ベクトルｘの要素をｘjまたはｘ（ｊ）と記載する。バイアスベクトルｂの要素をｂ1，…，ｂnとする。第ｉ番目のバイアスベクトルｂの要素をｂiまたはｂ（ｉ）と記載する。また、係数行列Ａは、第１から第ｎまでのｎ行と第１から第ｍまでのｍ列で構成される。第ｉ行第ｊ列の係数行列Ａの要素をＡijまたはＡ（ｉ，ｊ）と記載する。本実施の形態１では、各要素のインデックスである値ij、またはｊは、当該要素の識別子であるとともに、当該要素を演算するべき後述の演算器ＣＬｋおよび当該要素が演算器ＣＬｋの指定および演算されるべき順番を指定し得るものでもある。
　また、畳み込み演算では、ＮＶＩＤＩＡ社の技術文献「ｃｕＤＮＮ:Ｅｆｆｉｃｉｅｎｔ　Ｐｒｉｍｉｔｉｖｅｓ　ｆｗｏｒ　Ｄｅｅｐ　Ｌｅａｒｎｉｎｇ」第４頁の「Ｆｉｇｕｒｅ　１：　Ｃｏｎｖｏｌｕｔｉｏｎ　ｌｏｗｅｒｉｎｇ」に示されるように、係数が係数行列(Ｆｍ)で表現されるとともに、入力および出力もベクトルではなく行列（Ｄｍ，Ｏｍ)として表現されるケースもある。このケースを「行列ケース」と称する。行列ケースにおける畳み込み演算では、行列と行列の積が算出される。
　［演算回路の概略的な構成］
　図４は、本実施の形態１に係る演算回路１２の構成の一例を、周辺回路と関連付けて示す図である。演算回路１２は、「演算装置」の一実施例である。図４を参照して、演算回路１２は、演算回路１２内の各部を制御するための専用回路である制御回路３０、それぞれが積和演算を実施する複数の演算器ＣＬｋ（ｋ＝１、２、３・・・ｎ）を有する並列演算回路１２１、入力Ｉ／Ｆ（Interfaceの略）１２２および出力Ｉ／Ｆ（Interface）１２３を備える。演算回路１２は、複数の演算器ＣＬｋを有する。各演算器ＣＬｋは、係数行列Ａの各行に対応して設けられている。
　演算回路１２では、式（１）で示される行列演算を実施する場合、各演算器ＣＬｋが積和演算を他の演算器ＣＬｋと並行して実行する。
　制御回路３０は、プロセッサ３１と、例えば不揮発性の記憶媒体を含むメモリ３２とを備える。メモリ３２には、演算回路１２を制御するための制御プログラム１５０が格納されている。
　演算回路１２は、演算のためのデータを演算回路１２に入力する外部入力装置６１、当該演算回路１２からの演算結果を外部に出力する外部出力装置６３およびＳＲＡＭ（Static　Random　Access　Memory）等の外部記憶装置６２を、バス４５を介して接続する。
　外部入力装置６１、外部記憶装置６２および外部出力装置６３は、バス４０を介して、メモリ５０を備えるＣＰＵ（Central　Processing　Unit)５１が接続される。メモリ５０は、係数行列Ａ、入力ベクトルｘおよびバイアスベクトルｂ、ならびに演算回路１２の演算結果を格納する。
　ＣＰＵ５１は、外部入力装置６１、外部記憶装置６２および外部出力装置６３を制御する。例えば、ＣＰＵ５１は、係数行列Ａ、入力ベクトルｘおよびバイアスベクトルｂをメモリ５０から読出し、外部入力装置６１または外部記憶装置６２を介して演算回路１２の入力Ｉ／Ｆ１２２に出力する。外部出力装置６３は、出力Ｉ／Ｆ１２３からの演算結果を入力し、入力した演算結果を、バス４０を介してＣＰＵ５１に出力する。ＣＰＵ５１は、外部出力装置６３からの演算結果をメモリ５１に格納する。また、出力Ｉ／Ｆ１２３からの演算結果は、外部記憶装置６２に格納されてもよい。外部記憶装置６２と外部出力装置６３は、有線または無線の複数の回線を介して出力Ｉ／Ｆ１２３に接続される。出力Ｉ／Ｆ１２３は、各回線を接続するポート１７を備える。
　なお、メモリ５１は、ＣＰＵ５０ではなくバス４０に接続されてもよい。また、外部記憶装置６２がメモリ５０を備えてもよい。
　［演算器の構成］
　図５は、図４の演算器ＣＬｋと入出力データを関連付けて説明する図である。図５を参照して、演算器ＣＬｋは、アキュムレータＴ１、乗算器Ｔ２、加算器Ｔ３およびレジスタＴ４を含む。演算器ＣＬｋには、演算器ＣＬｋから読出し可能な係数記憶回路１３２および入力記憶回路１３３が接続される。「入力記憶回路」は、並列演算回路１２１と外部装置との間において並列演算回路１２１への入力を記憶する回路である。係数記憶回路１３２および入力記憶回路１３３は、図４の入力Ｉ／Ｆ１２２に含まれる。図５では、並列演算装置の複数の演算器ＣＬｋのうち１つを示すが、他の演算器も同様の構成を有する。
　係数記憶回路１３２には、係数行列Ａのｋ番目の行の要素Ａｋ１～Ａｋｎと、バイアスベクトルｂのｋ番目の要素ｂｋが格納される。また、入力記憶回路１３３には、入力ベクトルｘの要素ｘ１～ｘｎが格納される。
　（積和演算処理）
　演算器ＣＬｋでは、アキュムレータＴ１およびレジスタＴ４は、初期値（例えば０）が予め格納されている。積和演算処理が開始されると、乗算器Ｔ２は、クロックに同期して、係数記憶回路１３２から要素Ａｋｍを、入力記憶回路１３３から要素ｘｍをそれぞれ読出し、読出された要素Ａｋｍに要素ｘｍを掛けて積を算出し、算出した積を上書きによりレジスタＴ４に格納する。加算器Ｔ３は、レジスタＴ４の積と、アキュムレータＴ１に格納されている累算値ｓｕｍとの和を算出し、算出した和をアキュムレータＴ１に出力する。アキュムレータＴ１は、入力記憶回路１３３から読出した要素ｂｋと加算器Ｔ３からの和とを加算し、加算結果を累算値ｓｕｍに加算する。これにより、１回の演算処理が終了する。このような、係数記憶回路１３２の要素Ａｋｍと入力記憶回路１３３の対応する要素ｘｍの積と累算値ｓｕｍの和からなる積和演算が、ｎ回繰返される。
　このように、各演算器ＣＬｋは、他の演算器ＣＬｋとは独立して、割当てられた行の積和演算を、係数記憶回路１３２の要素Ａｋｍおよび対応する入力記憶回路１３３の要素ｘｍの組の総数（ｍ個）繰返す。この結果、各演算器ＣＬｋのアキュムレータＴ１の累算値ｓｕｍが、出力ベクトルｆの要素ｆｋとして出力Ｉ／Ｆ１２３に出力される。
　［入力Ｉ／Ｆと出力Ｉ／Ｆの構成］
　図６は、本実施の形態１に係る入力Ｉ／Ｆと出力Ｉ／Ｆの構成を示す図である。図６では、入力Ｉ／Ｆと出力Ｉ／Ｆの構成が、制御回路３０を除く周辺回路と関連づけて示されている。図６では、並列演算回路１２１は、共有メモリ１２４を接続する。共有メモリ１２４は、各演算器ＣＬｋにより書込み可能および読出し可能に構成されている。図６を参照して、入力Ｉ／Ｆ１２２は、入力変換回路１３１、係数記憶回路１３２および入力記憶回路１３３を含む。出力Ｉ／Ｆ１２３は、出力変換回路１４１および出力記憶回路１４２を含む。「出力記憶回路」は、並列演算回路１２１と外部装置との間において並列演算回路１２１からの出力を記憶する回路である。
　図７は、本実施の形態１に係る入力記憶回路と出力記憶回路と係数記憶回路の構成の一例を示す図である。図８は、本実施の形態１に係る記憶方式を模式的に説明する図である。図９は、本実施の形態１に係る入力変換回路の構成の一例を示す図である。図１０は、本実施の形態１に係る出力変換回路の構成の一例を示す図である。
　図７（Ａ）を参照して、入力記憶回路１３３は、複数の記憶回路ＭＩｋ（ｋ＝１，２，３、・・・）を含む。複数の記憶回路ＭＩｋは、それぞれ、各演算器ＣＬｋに対応して設けられて、すなわち入力ベクトルｘの各行に対応して設けられて、対応の演算器ＣＬｋにより読出し可能に構成されている。記憶回路ＭＩｋは、入力ベクトルｘの要素ｘjを格納する複数のレジスタを含む。
　図７（Ｂ）を参照して、出力記憶回路１４２は、複数の記憶回路ＭＯｋ（ｋ＝１，２，３、・・・）を含む。複数の記憶回路ＭＯｋは、出力ベクトルｆの要素ｆｉが書込み可能に、また要素ｆｉが読出し可能に構成されている。
　図７（Ｃ）を参照して、係数記憶回路１３２は、複数の記憶回路Ｃｋ（ｋ＝１，２，３、・・・）を含む。複数の記憶回路Ｃｋは、それぞれ、各演算器ＣＬｋに対応して設けられて、すなわち係数行列Ａの各行に対応して設けられて、対応の演算器ＣＬｋにより読出し可能に構成されている。記憶回路Ｃｋは、例えば図８（Ｂ）に示すように、バイアスベクトルｂの要素ｂiと係数行列Ａの要素Ａｉjを格納する複数のレジスタを含む。
　（入力変換回路）
　入力変換回路１３１は、例えば図９に示す構成を有する。図９を参照して、入力変換回路１３１は、係数記憶回路１３２および入力記憶回路１３３の各記憶回路に対応するセレクタ１３と、テーブルまたは専用回路１５を備える。テーブルまたは専用回路１５は、各セレクタに選択指令１５１を出力する。選択指令１５１は、外部記憶装置６２または外部入力装置６１からの係数行列Ａの要素Ａij、入力ベクトルｘの要素ｘjおよびバイアスベクトルｂの要素ｂiのうち、いずれを選択して、対応の記憶回路に書込むかの指令を示す。選択指令１５１は、例えば要素Ａij、要素ｘjおよび要素ｂiのインデックの値を含む。
　具体的には、入力変換回路１３１が、外部記憶装置６２または外部入力装置６１から要素Ａij、要素ｘjおよび要素ｂiを受付けたとき、各セレクタ１３は、受付けられた要素Ａij、要素ｘjおよび要素ｂiのンデックスと選択指令１５１とに従い、要素を選択し、選択された要素Ａij、要素ｘjおよび要素ｂiを対応の記憶回路ＭＩｋまたは記憶回路Ｃｋに書込む。このとき、セレクタ１３は、選択指令１５１により、要素Ａijのうち、非零の要素Ａijのみを選択する。そして、セレクタ１３は、選択された要素Ａijおよび要素ｂiを、対応の記憶回路Ｃｋに格納する。
　また、入力変換回路１３１の各セレクタ１３は、外部記憶装置６２または外部入力装置６１から受付けた要素ｘjのインデックスと選択指令１５１とに従い、対応の記憶回路ＭＩｋに格納する要素ｘjを選択する。この選択では、セレクタ１３は、選択指令１５１に従い、非零の要素Ａijに対応の要素ｘjのみを選択する。セレクタ１３は、選択された要素ｘjを、対応の記憶回路ＭＩｋに格納する。
　また、入力変換回路１３１のセレクタ１３は、記憶回路ＭＩｋに要素ｘjを、また記憶回路Ｃｋに非零の要素Ａijを格納する場合に、要素のインデックスの値が示す順に従い、対応の記憶回路のレジスタに当該要素を格納する。具体的には、セレクタ１３は、記憶回路Ｃｋの複数のレジスタのうち、要素Ａijのインデックスが示す値（数字）をアドレスとしてアドレス指定されるレジスタに要素Ａijを格納する。また、セレクタ１３は、記憶回路Ｃｋの複数のレジスタのうち、要素Ａijのレジスタとは異なる予め定められたレジスタに要素ｂiを格納する。同様に、セレクタ１３は、記憶回路ＭＩｋの複数のレジスタのうち、要素ｘjのインデックスが示す値（数値）をアドレスとしてアドレス指定されるレジスタに要素ｘjを格納する。
　これにより、記憶回路Ｃｋと記憶回路ＭＩｋには、対応の演算器ＣＬｋの積和演算に必要な要素ｘjと非零の要素Ａijと要素ｂiが格納される。また、記憶回路Ｃｋでは、非零の要素Ａijが演算されるべき順番で格納され、各記憶回路ＭＩｋでは、非零の要素Ａijに対応する要素ｂiが、演算されるべき順番で格納される。
　（入力変換回路のテーブルまたは専用回路）
　本実施の形態１では、各演算器ＣＬｋが係数行列Ａのどの行に割当てられるかと、非零の要素Ａijと演算されるべき要素ｘｊの入力ベクトルｘにおける位置とは、予め決定されている。したがって、テーブルまたは専用回路１５には、このような予め決定された内容を示す情報が格納されており、専用回路は、格納された情報に従い、各セレクタ１３宛の選択指令１５１を生成し、生成された選択指令１６１を当該セレクタ１３に出力する。なお、演算器ＣＬｋへの係数行列Ａの行の割当て、および非零の要素Ａijと演算されるべき要素ｘｊの入力ベクトルｘにおける位置が変更されない場合は、テーブルまたは専用回路１５は、固定の回路として構成され得る。
　（出力変換回路）
　出力変換回路１４１は、例えば図１０に示す構成を有する。図１０を参照して、出力変換回路１４１は、複数のセレクタ１４と、テーブルまたは専用回路１６とを備える。複数のセレクタ１４は、出力記憶回路１４２の複数の記憶回路ＭＯｋにそれぞれ対応する。記憶回路ＭＯｋは１または複数のレジスタを含む。
　出力記憶回路１４２の格納された出力ｆｉは、外部記憶装置６２または外部出力装置６３に出力されるが、出力記憶回路１４２が、外部記憶装置６２または外部出力装置６３に同時に出力可能な出力ｆｉの数は、予め決められている。したがって、出力記憶回路１４２は、同時に出力可能な出力ｆｉの数と同じ数の記憶回路ＭＯｋを有する。また、複数の記憶回路ＭＯｋは、それぞれ、外部記憶装置６２または外部出力装置６３に、ポート１７を介して接続される。
　出力変換回路１４１の各セレクタ１４は、並列演算回路１２１からの出力ｆｉを記憶回路ＭＯｋに格納する際、テーブルまたは専用回路１６からの選択指令１６１と出力ｆｉのインデックスの値に基づき、複数の記憶回路ＭＯｋから１つ（すなわち、複数のポート１７のうちの１つ）を決定し、出力ｆｉを決定した記憶回路ＭＯｋに格納する。本実施の形態では、出力ｆｉのインデックスは、当該出力ｆｉを識別する識別子としての役割も果たす。セレクタ１４は、出力ｆｉを格納する際に、選択指令１６１と出力ｆｉのインデックスからアドレスを決定し、決定したアドレスでアドレス指定される記憶回路ＭＯｋのレジスタに出力ｆｉを格納する。
　一般には、係数行列Ａの各行の演算結果である出力ｆｉがどの演算器ＣＬｋから導出されるか、当該出力ｆｉをいずれのポート１７に送出するか、および出力ｆｉを送出する順番を規定する基準の情報は予め決定されている。
　テーブルまたは専用回路１６は、上記に述べた基準情報を格納している。テーブルまたは専用回路１６は、格納された基準情報に基づき、各セレクタ１４宛の選択指令１６１を生成し、生成された選択指令１６１を当該セレクタ１４に出力する。
　なお、係数行列Ａの複数の行が、複数の演算器ＣＬｋにそれぞれ一対一に対応する場合には、演算器ＣＬｋと記憶回路ＭＯｋを直接に一対一で結合することが可能であり、この場合は各記憶回路ＭＯｋの出力ｆｉを格納する位置（容量、レジスタの個数）は１つだけでよい。
　テーブルまたは専用回路１６は、各セレクタ１４に対して、並列演算回路１２１からの演算結果である要素ｆiのうち、いずれを選択して、対応の記憶回路ＭＯｋに書込むかの指令を示す選択指令１６１を出力する。選択指令１６１は、例えば要素ｆiのインデックの値を含む。
　具体的には、セレクタ１４は、並列演算回路１２１の各演算器ＣＬｋのからの要素ｆiのうちから選択指令１６１に基づき要素ｆiを選択し、選択した要素ｆiを対応する記憶回路ＭＯｋに格納する。各記憶回路ＭＯｋは複数のレジスタからなる。出力変換回路１４１は、要素ｆiを記憶回路ＭＯｋに格納する場合、要素ｆiを、選択指令１６１に従った順番で当該記憶回路ＭＯｋのレジスタに格納する。
　上記に述べたテーブルまたは専用回路１６からの選択指令１６１は、並列演算回路１２１からの出力（要素ｆi）を外部記憶装置６２または外部出力装置６３が期待する要素ｆiが格納される出力記憶回路１４２の位置（アドレス）または読み出される順番に基づき予め決定されている。
　なお、記憶回路ＭＩｋ、記憶回路ＭＯｋおよび記憶回路Ｃｋは、アドレス指定可能な複数のレジスタを含むとしているが、レジスタを用いた構成に限定されない。例えば、アドレス指定可能な記憶回路であればよく、例えばＳＲＡＭを含んで構成されてもよい。
　［演算器と要素の関連付けの具体例］
　図１１は、図５で示した演算器ＣＬｋと演算されるべき要素の関連付けの具体例を示す図である。図１１に示すように、入力変換回路１３１によれば、記憶回路Ｃｋおよび記憶回路ＭＩｋには、対応の演算器ＣＬｋで演算されるべき非零要素Ａijと要素ｘｊのみが格納されて、且つ演算されるべき順番で格納されている。
　したがって、演算器ＣＬｋの乗算器Ｔ２は、クロックに同期して、記憶回路Ｃｋおよび記憶回路ＭＩｋから要素を順番に読み出すだけで、演算器ＣＬｋで積和演算されるべき要素をのみ、演算されるべき順序に従い取得することができる。
　これにより、各演算器ＣＬｋからの要素の読出し要求が同時に発生したとしても、要求間の順序付けを行なう等の調停は必要とされず、さらに各演算器ＣＬｋでは要素を乗算すべき順序に並べる処理も必要とされない。したがって、当該調停が必要とされる従来の積和演算処理に比べて、全体の処理速度を高速にすることが可能となる。
　［係数記憶回路の変形例］
　図８を参照して、係数記憶回路１３２は、係数（要素Ａijと要素ｂi）を格納する方式は、図８（Ａ）の１つ目の方式と図８（Ｂ）の２つ目の方式を含む。
　図８（Ａ）を参照して、１つ目の方式は、図１１に示したように、演算器ＣＬｋの対応する記憶回路Ｃｋに要素ｂiに続けて係数行列Ａの１行Ｌに相当する要素Ａijをインデックスの順番に格納する方式である。図８（Ａ）の１つ目の方式は、記憶回路Ｃｋから読出された係数を、並列演算回路１２１をスキップして、出力変換回路１４１を経由して出力記憶回路１４２に格納することもできる。
　図８（Ｂ）を参照して、２つ目の方式は本来の係数データ（要素ｂiと１行Ｌに相当する要素Ａij）と、実行モードを指定するフラグＦを付加する。例えば、フラグＦは、記憶回路Ｃｋに格納された各係数（要素Ａijまたは要素ｂi）に対して、当該係数を用いて実施するべき演算等の処理の種類を、並列演算回路１２１に指示する。本実施の形態１では、実行フラグが指示する処理の種類は、要素Ａijと要素ｘｊの積、積和演算、係数（要素Ａijまたは要素ｂi）のロード、入力データ（要素ｘｊ）のロード、共有メモリ１２４への書込み（例えば、演算結果（要素ｆｊ）の書込み）、共有メモリ１２４からの読出し、各係数（要素Ａijまたは要素ｂi）を、並列演算回路１２１をスキップして、出力変換回路１４１を経由して出力記憶回路１４２に格納する等を含む。
　更なる他の方式として、図８（Ｂ）の方式は、図８（Ｃ）に示されるように、記憶回路Ｃｋは、複数行Ｌ１に相当する要素Ａijがインデックスの順番に格納されるように変形することもできる。
　［各部の変形例］
　演算回路１２は、上記の（１）式で示される行列演算を、並列演算により実行可能な複数の演算器を含むＡＳＩＣ（Application　Specific　Integrated　Circuit）またはＦＰＧＡ（Field　Programmable　Gate　Array)によって構成され得る。
　また、複数の演算器ＣＬｋを備える並列演算回路１２１は、複数の処理（例えば積和演算）を並列に実行することができる構成であればよく、例えば並列演算回路１２１は、マルチコアプロセッサにより構成され得る。その場合には、複数のプロセッサコアは、複数の演算器ＣＬｋにそれぞれ対応する。
　また、本実施の形態１では、行列Ａの非零要素Ａijと入力ベクトルの対応する要素ｘｊは、演算回路１２の初期化処理時に入力変換回路１３１を経由して係数記憶回路１３２に格納され得る。なお、行列Ａの非零要素Ａijと入力ベクトルの対応する要素ｘｊの値が固定である場合には、係数記憶回路１３２は、非零要素Ａijと対応する要素ｘｊの値を格納したＲＯＭ（Read　Only　Memory）を含み得る。
　行列Ａとベクトルｘの積の計算を高速化するために、行列Ａの１行分の積和演算を、２つ以上の演算器ＣＬｋにより実施してもよい。その場合には、各演算器ＣＬｋからの演算結果の和を取るために、出力記憶回路１４２は各演算器ＣＬｋの演算結果を格納するために使用され得る。
　また、入力データの重複した読込みまたは参照を回避し得る畳み込み演算に特化した構成を、外部記憶装置６２または外部入力装置６１と演算回路１２の入力変換回路１３１との間に追加してもよい。
　また、行列Ａが小さいために、入力ベクトルｘとしてラインバッファから画像のイメージ部分を切り出すための処理は、通常の畳込み核の高さと同じライン数をもつラインバッファ取り込みとカーネル係数レジスタ（ウィンドウ）から入力データを取り込むことを前提とする。このようなラインバッファは、ラスタスキャンの順番でデータを取り込み、且つライン分のデータを取り込んだ時点で、もっとも古いラインを次にデータを取り込むラインとして使用するようなリングバッファの構造を有しても良い。
　［全体処理のフローチャート］
　図１２は、本実施の形態１に係る並列処理の説明するフローチャートである。図１２のフローチャートに従う処理は、制御プログラム１５０として制御回路３０のメモリ３２に格納されている。プロセッサ３１が、制御プログラム１５０をメモリ３２から読出し、読出された制御プログラム１５０を実行する。
　図１２の処理を、図６を参照しつつ説明する。まず、プロセッサ３１は、初期化処理（ステップＳ１）を実施する。
　具体的に、初期化処理では、プロセッサ３１は、入力変換回路１３１を起動し、初期化処理を実施させる。入力変換回路１３１は、外部記憶装置６２または外部入力装置６１からの係数行列Ａの非零の要素Ａijとバイアスベクトルｂの要素ｂiを、係数記憶回路１３２の複数の記憶回路Ｃｎに格納する。具体的には、図９で説明したように、記憶回路Ｃｎに対応のセレクタ１３が、要素Ａijと要素ｂiのインデックスと選択指令１５１とに基づき、選択した要素Ａijと要素ｂiを対応の記憶回路Ｃｎに格納する。
　初期化処理が終了すると、演算回路１２は通常処理に移行する。通常処理においては、制御回路３０のプロセッサ３１は、外部記憶装置６２または外部入力装置６１から演算回路１２に入力ベクトルｘの要素をｘ1，…，ｘmが出力されたことを判定すると、入力変換回路１３１に、要素ｘ1，…，ｘmを入力記憶回路１３３に格納させる（ステップＳ３）。具体的には、図９で説明したように、セレクタ１３が、要素ｘ1，…，ｘmのインデックスと選択指令１５１とに基づき、選択した要素ｘjを対応の記憶回路ＭＩｋに格納する。
　制御回路３０のプロセッサ３１は、セレクタ１３により、ベクトルｘの要素をｘ1，…，ｘmを対応の記憶回路ＭＩｋに格納する処理が完了したか否かを判断する（ステップＳ５）。プロセッサ３１は、格納が完了していないと判断した場合（ステップＳ５でＮＯ）、ステップＳ３に戻るが、格納が完了していると判断した場合（ステップＳ５でＹＥＳ）、ステップＳ７に移行する。格納が完了した（ステップＳ５でＹＥＳ）とき、各記憶回路Ｃｋは、非零の要素Ａijが演算されるべき順番で格納された状態となり、また各記憶回路ＭＩｋは、非零の要素Ａijに対応する要素ｂiが、演算されるべき順番で格納された状態となる。
　制御回路３０のプロセッサ３１は、並列演算回路１２１に演算を実施させる（ステップＳ７）。ここでは、記憶回路Ｃｋには、図８（Ａ）に示した１つ目の方式に従い係数データ（非零の要素Ａijと要素ｂi）が格納されているケースを説明する。
　並列演算回路１２１の各演算器ＣＬｋは、対応の記憶回路Ｃｋの位置（アドレス）から読出した非零の要素Ａijと、対応の記憶回路ＭＩｋの当該アドレスに対応したアドレスから読出した要素ｘｊとの積を、記憶回路Ｃｋに格納された要素Ａijのそれぞれについて繰返すことで、上記に述べた（積和演算処理）が完了する。全ての演算器ＣＬｋにおいて、積和演算処理は同時に（並行して）実施される。
　制御回路３０のプロセッサ３１は、全ての演算器ＣＬｋにおいて積和演算処理が終了したとき、各演算器ＣＬｋを、演算結果である累算値ｓｕｍ（出力ｆｉ）を出力変換回路１４１に出力するように制御する。また、プロセッサ３１は、出力変換回路１４１を、各演算器ＣＬｋからの出力ｆｉを、制御指令を用いて各記憶回路ＭＯｋに格納するよう制御する（ステップＳ９）。
　制御回路３０のプロセッサ３１は、出力ｆｉの格納が完了したか否かを判断する（ステップＳ１１）。プロセッサ３１は、格納が完了していないと判断すると（ステップＳ１１でＮＯ）、ステップＳ１１に戻るが、格納は完了したと判断すると（ステップＳ１１でＹＥＳ）、プロセッサ３１は、出力記憶回路１４２を、各記憶回路ＭＯｋに格納されている出力ｆｉを外部記憶装置６２または外部出力装置６３に出力するよう制御する（ステップＳ１３）。このとき、出力記憶回路１４２は、各記憶回路ＭＯｋから格納されている順に出力ｆｉの読出し、読出された出力ｆｉを読出された順序で回線に送出する。各記憶回路ＭＯｋから外部記憶装置６２または外部出力装置６３への出力ｆｉの送出は同時に実行される。
　制御回路３０のプロセッサ３１は、演算処理は終了したか否かを判断する（ステップＳ１５）。プロセッサ３１は、終了したと判断すると図１２の処理は終了するが（ステップＳ１５でＹＥＳ）、終了していないと判断すると（ステップＳ１５でＮＯ）、ステップＳ３に戻る。なお、ステップＳ１５の判断は、例えばＣＰＵ５１からの指令に基づきなされる。
　（フローチャートの変形例）
　図１２のフローチャートでは、係数記憶回路１３２の記憶回路Ｃｋの格納方式は、図８（Ａ）の１つ目の方式であったが、図８（Ｂ）の２つ目の格納方式であってもよい。
　２つ目の格納方式の場合は、並列演算回路１２１は、係数記憶回路１３２の各演算器ＣＬｋに対応する記憶回路Ｃｋに格納された各要素Ａijに、当該要素Ａijに対応のフラグＦより指示される種類の演算または処理を施す。この場合も、並列演算回路１２１の全ての演算器ＣＬｋは同時に動作する。
　２つ目の格納方式の場合、並列演算回路１２１の各演算器ＣＬｋに対する演算量の平準化のため、係数行列Ａの１行分の演算を２つ（以上）の演算器ＣＬｋに振り分けて実施してもよい。この場合、並列演算回路１２１は、振り分けがなされた２つ(以上)の演算器ＣＬｋで計算した結果の和を、共有メモリ１２４を利用して算出する。また、振り分けがなされる演算器ＣＬｋの数が多くない場合、全演算数に対するこの振り分け処理の数は僅かとなり、振り分け処理が演算回路１２の演算性能へ及ぼす影響を無視することが可能となる。
　実施の形態１によれば、入力Ｉ／Ｆ１２２により、並列演算回路１２１の各演算器ＣＬｋのみが読出し可能な記憶回路ＣｋとＭＩｋに、当該演算器ＣＬｋで演算されるべき係数データ（要素Ａijおよび要素ｂi）および入力データ（要素ｘｊ）を、演算に先立ち格納しておくことができる。これにより、全ての演算器ＣＬｋが演算を同時（並列）に実施するときに、係数データおよび入力データのアクセス（読出し）の競合を確実に回避することができて、並列処理を高速に実施することが可能となる。
　また、記憶回路Ｃｋには、非零の要素Ａijのみが格納されているから、各演算器ＣＬｋにおいて、零である要素Ａijを用いた積の演算、すなわち不要な乗算を、積和演算から排除することができる。これにより、並列演算回路１２１で複数の演算器ＣＬｋによる積和演算の並列処理が開始されてから、処理の最終結果である出力ベクトルｆの要素をｆ1，…，ｆnを得るまでの所要時間を短くすることが可能となる。
　実施の形態２．
　実施の形態２は、実施の形態１の変形例を示す。図１３は、本実施の形態２に係る演算回路１２Ａの入力Ｉ／Ｆと出力Ｉ／Ｆの構成を示す図である。図１３の演算回路１２Ａは、図６の入力Ｉ／Ｆ１２２とは異なる入力Ｉ／Ｆ１２２Ａを有する。演算回路１２Ａの他の構成は、図６のそれらと同様であるので説明は繰返さない。
　図１３を参照して、入力Ｉ／Ｆ１２２Ａは、入力変換回路１３１および入力記憶回路１３３に代えて、入力変換回路１３１Ａおよび入力通知回路１３３Ｃを備える。図１４は、図１３の入力通知回路１３３Ｃの構成を示す図である。図１４を参照して、入力通知回路１３３Ｃは、図９のセレクタ１３の機能と、通知Ｎの出力機能とを備える複数のセレクタ１３Ａを備える。複数のセレクタ１３Ａは、演算器ＣＬｋにそれぞれ対応する。
　入力変換回路１３１Ａは、外部入力装置６１または外部記憶装置６２から、入力ベクトルｘの要素ｘjを受付けたとき、要素ｘjのインデックスの値に基づき、複数の演算器ＣＬｋのうち、当該要素ｘjを用いた演算を実施する演算器ＣＬｋを特定し、特定された演算器ＣＬｋのみに要素ｘjを出力する。また、このとき、図１４の入力通知回路１３３Ｃでは、入力変換回路１３１Ａにより特定された演算器ＣＬｋに対応のセレクタ１３Ａが、対応の演算器ＣＬｋに演算の通知Ｎを出力する。通知Ｎを受けた演算器ＣＬｋは、係数記憶回路１３２の記憶回路Ｃｋから要素Ａijと要素ｂiを読出し、読出された要素Ａijと要素ｂiおよび入力変換回路１３１から要素ｘjを用いた積和演算を実施する。
　実施の形態２によれば、例えば、外部入力装置６１または外部記憶装置６２から演算回路１２へ要素ｘjを転送する速度が低速である場合は、図１３の演算回路１２Ａのように、入力記憶回路１３３による要素ｘjの記憶に代えて、入力変換回路１３１Ａが要素ｘjを演算器ＣＬｋに直接入力する。
　これにより、入力記憶回路１３３のためのメモリリソースを不要にすることができる。さらに、入力通知回路１３３Ｃから通知を受けなかった演算器ＣＬｋは、すなわち当該要素ｘjを用いた演算をする必要のない演算器ＣＬｋを休止させることが可能となる。したがって、演算回路１２の回路規模と消費電力を小さくすることが可能になる。
　実施の形態３．
　実施の形態３は、実施の形態１の変形例を示す。図１５は、本実施の形態３に係る演算回路１２Ｂの入力Ｉ／Ｆと出力Ｉ／Ｆの構成を示す図である。図１５の演算回路１２Ｂは、図６の出力Ｉ／Ｆ１２３とは異なる出力Ｉ／Ｆ１２３Ｂを有する。演算回路１２Ｂの他の構成は、図６のそれらと同様であるので説明は繰返さない。
　図１５を参照して、出力Ｉ／Ｆ１２３Ｂは、出力変換回路１４１、出力記憶回路１４２および出力通知回路１４３を備える。図１６は、図１５の出力通知回路１４３の構成を周辺回路と関連付けて示す図である。図１６を参照して、出力通知回路１４３は、テーブル１４４および判断回路１４５を備える。テーブル１４４には、外部記憶装置６２または外部出力装置６３に送出されるべき出力ｆｉを識別する例えばインデックス情報が格納されている。インデックス情報は、外部記憶装置６２または外部出力装置６３が必要としている種類または個数の出力ｆｉを示す。
　判断回路１４５は、出力変換回路１４１を介して各演算器ＣＬｋから送出される出力ｆｉを監視する監視処理１４５１を実施する。監視処理１４５１では、例えば出力ｆｉのインデックスが読取られる。判断回路１４５は、監視の結果に基づき、テーブル１４４のインデックス情報が示す必要な種類または個数の全ての出力ｆｉが、並列演算回路１２１から出力されたと判断したとき、通知Ｎ１を外部記憶装置６２または外部出力装置６３に出力する。外部記憶装置６２または外部出力装置６３は、判断回路１４５から通知Ｎ１が出力されるまでは休止し、判断回路１４５から通知Ｎ１を受付けたとき、起動して、出力記憶回路１４２からの出力ｆｉを受付ける。
　実施の形態３によれば、例えば外部記憶装置６２または外部出力装置６３からバス４０へのデータ出力が低速な場合は、出力通知回路１４３から通知Ｎ１が出力されるまでの期間では、すなわちバス４０へのデータ出力が不要な期間では、外部記憶装置６２または外部出力装置６３を休止させることが可能になる。これにより、外部記憶装置６２または外部出力装置６３の消費電力量を少なくすることが可能になる。
　実施の形態４．
　実施の形態４は、実施の形態１の変形例を示す。図１７は、本実施の形態４に係る演算回路１２Ｂの入力Ｉ／Ｆと出力Ｉ／Ｆの構成を示す図である。図１７の演算回路１２Ｃは、実施の形態２の入力Ｉ／Ｆ１２２Ａと実施の形態３の出力Ｉ／Ｆ１２３Ｂとを備える。
　これにより、外部入力装置６１または外部記憶装置６２から演算回路１２Ｃへデータを転送する速度、または外部記憶装置６２または外部出力装置６３がバス４０へデータを出力する速度が低速である場合に、実施の形態２と実施の形態３における両方の利点を得ることができる。すなわち、入力記憶回路１３３のためのメモリリソースを不要にすることができる。さらに、演算を実施する必要のない演算器ＣＬｋを休止させることが可能となる。また、外部記憶装置６２または外部出力装置６３を常に動作させることなく休止させることができる。
　実施の形態５．
　実施の形態５は、実施の形態１の変形例を示す。図１８は、本実施の形態５に係る演算回路１２Ｄの入力Ｉ／Ｆと出力Ｉ／Ｆの構成を示す図である。図１８の演算回路１２Ｄは、図６の入力Ｉ／Ｆ１２２とは異なる入力Ｉ／Ｆ１２２Ｄを有する。演算回路１２Ｄの他の構成は、図６のそれらと同様であるので説明は繰返さない。
　図１８を参照して、入力Ｉ／Ｆ１２２Ｄは、入力変換回路１３１、係数記憶回路１３２、２重化入力記憶回路１３３Ａおよび２重化入力記憶回路１３３Ｂを備える。２重化入力記憶回路１３３Ａ，１３３Ｂにより、図６の入力記憶回路１３３は２重化される。２重化入力記憶回路１３３Ａ，１３３Ｂのそれぞれは、実施の形態１で説明した入力記憶回路１３３と同じ構成を有し、同様な動作をすることが可能である。
　制御回路３０のプロセッサ３１は、２重化入力記憶回路１３３Ａ，１３３Ｂの一方の機能を、外部入力装置６１または外部記憶装置６２からの要素ｘｊを受付けるような機能に切替え、他方の機能を並列演算回路１２１へ要素ｘｊを出力する機能に切替える。プロセッサ３１は、２重化入力記憶回路１３３Ａ，１３３Ｂのそれぞれが、各動作を完了したとき、一方の機能を並列演算回路１２１へ要素ｘｊを出力する機能に切替え、他方の機能を、外部入力装置６１または外部記憶装置６２からの要素ｘｊの受付けるような機能に切替える。
　実施の形態５によれば、外部入力装置６１または外部記憶装置６２から演算回路１２Ｄへ要素ｘｊを転送する速度が高速であるときは、２重化入力記憶回路１３３Ａ，１３３Ｂを用いることにより、演算回路１２Ｄが、外部入力装置６１または外部記憶装置６２から要素ｘｊを受信する処理と、並列演算回路１２１による演算処理とを同時に実施することが可能になる。したがって、演算回路１２Ｄによる演算速度を高速化することが可能となる。
　実施の形態６．
　実施の形態６は、実施の形態１の変形例を示す。図１９は、本実施の形態６に係る演算回路１２Ｅの入力Ｉ／Ｆと出力Ｉ／Ｆの構成を示す図である。図１９の演算回路１２Ｅは、図６の出力Ｉ／Ｆ１２３とは異なる出力Ｉ／Ｆ１２３Ｅを有する。演算回路１２Ｅの他の構成は、図６のそれらと同様であるので説明は繰返さない。
　図１９を参照して、出力Ｉ／Ｆ１２３Ｅは、出力変換回路１４１、２重化出力記憶回路１４２Ａおよび２重化出力記憶回路１４２Ｂを備える。２重化出力記憶回路１４２Ａ，１４２Ｂにより、図６の出力記憶回路１４２は２重化される。２重化出力記憶回路１４２Ａ，１４２Ｂのそれぞれは、実施の形態１で説明した出力記憶回路１４２と同じ構成を有し、同様な動作をすることが可能である。
　制御回路３０のプロセッサ３１は、２重化出力記憶回路１４２Ａ，１４２Ｂの一方の機能を、並列演算回路１２１から出力変換回路１４１を経由した出力ｆｉを記憶回路ＭＯｋに格納する機能に切替え、他方の機能を記憶回路ＭＯｋから出力ｆｉを読出し、読出された出力ｆｉを外部記憶装置６２または外部出力装置６３へ送出する機能に切替える。プロセッサ３１は、２重化出力記憶回路１４２Ａ，１４２Ｂのそれぞれが、各動作を完了したとき、一方の機能を記憶回路ＭＯｋから出力ｆｉを読出し、外部記憶装置６２または外部出力装置６３への送出する機能に切替え、他方の機能を、並列演算回路１２１から出力変換回路１４１を経由した出力ｆｉを記憶回路ＭＯｋに格納する機能に切替える。
　実施の形態６は、例えば、演算回路１２から外部記憶装置６２または外部出力装置６３へ出力ｆｉを高速に送出することが要求される場合に適用され得る。具体的には、出力記憶回路が２重化されることにより、演算回路１２は、外部記憶装置６２または外部出力装置６３への出力ｆｉを出力する処理と、並列演算回路１２１による演算処理とを同時に（並列に）実施することが可能となり、演算回路１２の演算処理をさらに高速化することができる。
　実施の形態７．
　実施の形態７は、実施の形態１の変形例を示す。図２０は、本実施の形態７に係る演算回路１２Ｆの入力Ｉ／Ｆと出力Ｉ／Ｆの構成を示す図である。図２０の演算回路１２Ｆは、実施の形態５の２重化入力記憶回路１３３Ａ，１３３Ｂおよび実施の形態６の２重化出力記憶回路１４２Ａ，１４２Ｂを備える。
　実施の形態７の演算回路１２Ｆは、入力記憶回路および出力記憶回路を、それぞれ２重化して備える。演算回路１２Ｆによれば、外部入力装置６１または外部記憶装置６２から高速に出力される要素ｘｊの受付け、外部記憶装置６２または外部出力装置６３への出力ｆｉの高速な送出、および並列演算回路１２１による演算処理が同時に可能となる。
　実施の形態８．
　実施の形態８は、実施の形態１の変形例を示す。図２１は、本実施の形態８に係る演算回路の構成を示す図である。図２１の演算回路は、演算回路１２Ｇと、演算回路１２Ｇに接続された演算回路１２Ｈを有する。演算回路１２Ｇは、実施の形態１の演算回路１２の出力Ｉ／Ｆ１２３が削除されているが、他は演算回路１２と同じである。演算回路１２Ｈは、入力Ｉ／Ｆ１２２Ｈ、並列演算回路１２１および出力Ｉ／Ｆ１２３を備える。入力Ｉ／Ｆ１２２Ｈは、入出力変換回路１３１Ｈ、係数記憶回路１３２および入力記憶回路１３３を備える。図２１において、入出力変換回路１３１Ｈを除く他の構成は、実施の形態１の演算回路１２が備える構成と同じであるから、説明は繰返さない。
　入出力変換回路１３１Ｈは、演算回路１２Ｇの複数の演算器ＣＬｋからの出力ｆｉを直接受付けて、受付けた出力ｆｉから、演算回路１２Ｈの演算器ＣＬｋ毎に、当該演算器ＣＬｋにより演算されるべき出力ｆｉを特定する。そして、入出力変換回路１３１Ｈは、特定した出力ｆｉを、当該演算器ＣＬｋに対応する入力記憶回路１３３の記憶回路ＭＩｋに演算されるべき順序に従い格納する。図２１では、演算回路１２は２つ接続されるが、接続される個数は、３つ以上であってもよい。
　実施の形態８によれば、２つ以上の演算回路１２を接続することが可能となる。例えば、ＬＳＩ（Large-Scale　Integration）回路内で２つ以上の演算回路１２を接続することが可能となる。このように、２つ以上の演算回路１２を接続するような場合、演算回路どうしを接続する接続部に入出力変換回路１３１Ｈを備えることにより、出力変換回路１４１および入力変換回路１３１によるセレクタ１４（またはセレクタ１３）を用いた２つの処理を、入出力変換回路１３１Ｈによる１回の処理で済ませることができる。したがって、複数の演算回路を接続するとしても、処理の高速化は可能となる。
　実施の形態９．
　実施の形態９は、実施の形態１の変形例を示す。図２２は、本実施の形態９に係る演算回路の構成を示す図である。図２２の演算回路は、演算回路１２Ｇと、演算回路１２Ｇに接続された演算回路１２Ｉを有する。演算回路１２Ｇは、実施の形態１の演算回路１２の出力Ｉ／Ｆ１２３が削除されているが、他は演算回路１２と同じであるので、説明は繰返さない。
　演算回路１２Ｉは、入力Ｉ／Ｆ１２２Ｈ、並列演算回路１２１および出力Ｉ／Ｆ１２３Ｂを備える。並列演算回路１２１および出力Ｉ／Ｆ１２３Ｂは、実施の形態３で示されたものと同様である。入力Ｉ／Ｆ１２２Ｉは、実施の形態８で示された入出力変換回路１３１Ｈ、出力通知回路１４３Ｉ、係数記憶回路１３２および入力記憶回路１３３を備える。入出力変換回路１３１Ｈ、係数記憶回路１３２および入力記憶回路１３３は、実施の形態３または実施の形態８で示されたものと同様であるから、説明は繰返さない。
　出力通知回路１４３Ｉは、演算回路１２Ｉの各演算器ＣＬｋに通知Ｎ２を出力する。具体的には、入出力変換回路１３１Ｈが、前段の演算回路１２Ｇの複数の演算器ＣＬｋからの出力ｆｉを、演算回路１２Ｉの各演算器ＣＬｋに対応する記憶回路ＭＩｋに格納するときに、出力通知回路１４３Ｉは、当該記憶回路ＭＩｋに当該出力ｆｉよりも先に演算されるべき出力ｆｉが格納されているかを判定する。出力通知回路１４３Ｉは、この判定を、例えば、出力ｆｉのインデックスの値に基づき実施する。出力通知回路１４３Ｉは、記憶回路ＭＩｋに先に演算されるべき出力ｆｉが全て格納されていると判定したとき、当該記憶回路ＭＩｋに対応する演算器ＣＬｋに通知Ｎ２を出力する。これにより、演算器ＣＬｋは、対応の記憶回路ＭＩｋに積和演算の開始に必要な要素ｘj（すなわち、出力ｆｉ）の全てが格納されたことの通知Ｎ２を受けたとき、積和演算を開始することができる。
　なお、図２２では、演算回路１２は２つ接続されるが、接続される個数は、３つ以上であってもよい。
　実施の形態９によれば、実施の形態３に示す２つ以上の演算回路１２Ｂを接続することが可能となる。例えば、２つ以上の演算回路１２ＢをＬＳＩ回路内で接続するような場合、接続部に入出力変換回路１３１Ｈを備えることにより、出力変換回路１４１の処理および入力変換回路１３１による処理の２つの処理を、入出力変換回路１３１Ｈによる１回の処理で済ませることができる。したがって、複数の演算回路を接続するとしても、処理の高速化は可能となる。
　実施の形態１０．
　実施の形態１０は、実施の形態１の変形例を示す。図２３は、本実施の形態１０に係る演算回路の構成を示す図である。図２３の演算回路は、演算回路１２Ｊと、演算回路１２Ｊに接続された演算回路１２Ｋを有する。演算回路１２Ｊは、実施の形態７で示された演算回路１２Ｆから出力Ｉ／Ｆ１２３が削除されているが、他の構成は演算回路１２Ｆのそれらと同様であるので、説明は繰返さない。また、演算回路１２Ｋは、入力Ｉ／Ｆ１２２Ｋ、並列演算回路１２１、および出力Ｉ／Ｆ１２３Ｅを備える。入力Ｉ／Ｆ１２２Ｋは、入出力変換回路１３１Ｋ、２重化入力記憶回路１３３Ａ，１３３Ｂおよび係数記憶回路１３２を備える。演算回路１２Ｋにおける入出力変換回路１３１Ｋを除く他の構成は、実施の形態７の演算回路１２Ｆのそれらと同じであるので、説明は繰返さない。
　入出力変換回路１３１Ｋは、演算回路１２Ｊの複数の演算器ＣＬｋからの出力ｆｉを直接受付けて、受付けた出力ｆｉから、演算回路１２Ｋの演算器ＣＬｋ毎に、当該演算器ＣＬｋにより演算されるべき出力ｆｉを特定する。入出力変換回路１３１Ｋは、特定した出力ｆｉを、当該演算器ＣＬｋに対応する入力記憶回路１３３の記憶回路ＭＩｋに演算されるべき順序に従い格納する。ここでは、演算回路は２つ接続されるが、接続される個数は、３つ以上であってもよい。
　実施の形態１０によれば、実施の形態７に示す２つ以上の演算回路１２Ｆを接続することが可能となる。例えば、２つ以上の演算回路１２ＦをＬＳＩ回路内で接続するような場合、接続部に入出力変換回路１３１Ｋを備えることにより、出力変換回路１４１の処理および入力変換回路１３１の処理の２つの処理を、入出力変換回路１３１Ｋによる１回の処理で済ませることができる。したがって、複数の演算回路を接続するとしても、処理の高速化は可能となる。
　（各実施の形態の変形例）
　各実施の形態に係る演算回路は、図２４のように変形されてもよい。図２４は、本発明の各実施の形態に係る演算回路の「行列ケース」に従う演算を実行可能な構成の一例を模式的に示す図である。実施の形態１．～実施の形態８．の演算回路は、図２４に示すような、「行列ケース」に従う積和演算を算出可能に構成され得る。図２４では、ｎ×ｎの係数行列Ａと、入力データ１００に相当するｎ×ｎの行列Ｘの積和演算を実行可能な演算器ＣＬｋが示される。
　図２４を参照して、演算器ＣＬｋは、図１１に示すものと同様の構成を有するので説明は繰返さない。図２４では、演算器ＣＬｋには、演算器ＣＬｋから読出し可能な係数記憶回路１３２Ｒ、バイアスベクトルｂの要素を格納する係数記憶回路１３２および入力記憶回路１３３が接続される。入力記憶回路１３３は、図１１に示すものと同様の構成を有する。係数記憶回路１３２Ｒは破線で示すようリングバッファを備える。
　演算器ＣＬｋの積和演算の結果は記憶回路ＡＭＯｋに格納される。記憶回路ＡＭＯｋは、ｎ個のレジスタＲＧを含む。したがって、記憶回路ＡＭＯｋ（ｋ＝１、２、…、ｎ）は、行列の次元数(ｎ×ｎ個)と同数のレジスタＲＧを備える。
　図２４では、演算器が備える複数の演算器ＣＬｋのうち１つを示すが、他の演算器ＣＬｋも同様の構成を有する。行列Ｘはｎ個の列ベクトルから構成されるとみなし、図２４の入力記憶回路１３３には行列Ｘの要素が列優先の順番で入力される。図２４の入力記憶回路１３３には、例えば、行列Ｘのｋ番目の列の要素ｘｋ１～ｘｋｎが格納されている。
　演算器ＣＬｋは、行列Ｘの１列分の積和演算を、実施の形態１～８の場合と同様に、行列Ｘの列毎に繰返す。演算器ＣＬｋは係数行列Ａのｋ番目の行と行列Ｘの各列との積和演算を実施し、ｎ個の積和演算の値（出力ｆｉに相当）を出力する。この積和演算においても、係数行列Ａのｋ番目の行の要素のうち非零の要素Ａijが選択されて、選択された非零要素Ａijを用いた積和演算が実施される。説明を簡単にするために、係数行列Ａのｋ番目の行は非零要素Ａijを含まないとする。
　演算器ＣＬｋから出力されるｎ個の積和演算の値は、それぞれ、記憶回路ＡＭＯｋのｎ個のレジスタＲＧに格納される。図２４では、例えば、演算器ＣＬｋが行列Ｘのｋ番目の列を用いた積和演算を実行した場合において、その積和演算の値が、記憶回路ＡＭＯｋのｋ番目のレジスタＲＧ（斜線で示されたレジスタＲＧ）に格納された状態が示される。
　演算器ＣＬｋ（ｋ＝１、２、…ｎ）が積和演算を終了したとき、出力記憶回路の記憶回路ＡＭＯｋ（ｋ＝１、２、…ｎ）が備える(ｎ×ｎ個)のレジスタＲＧには、係数行列Ａと行列Ｘの積和演算の結果が格納される。
　ここで、実施の形態の背景として、演算器ＣＬｋが積和演算を繰返し中は、行列Ｘのｋ番目の列の積和演算が完了し、その後に次列（ｋ+１番目の列）の積和演算を開始するとき、当該次列の積和演算を開始する前に、演算器ＣＬｋの係数行列Ａの入力を初期化する必要がある。例えば、係数行列Ａのｋ番目の行の先頭の要素から読出し開始可能にするような初期化が必要とされる。したがって、次列の積和演算の開始は、当該初期化にかかる時間だけ遅延するおそれがある。
　このような遅延を回避するために、図２４では、係数行列Ａのｋ番目の行の要素は、係数記憶回路１３２Ｒのリングバッファに格納される。これにより、図２４の演算器ＣＬｋは、行列Ｘのｋ番目の列の積和演算が完了したときは、上記の初期化なしに、次列（ｋ+１番目の列）の積和演算を開始することができる。したがって、「行列ケース」における積和演算を高速に実施することが可能となる。
　なお、実施の形態１．～実施の形態８．で説明したような係数行列Ａと入力ベクトルｘの積和演算においても、リングバッファを備える係数記憶回路を用いることができる。したがって、図２４の演算回路を適用することにより、行列×ベクトルの積和演算および「行列ケース」に従う行列×行列の積和演算の両方において積和演算の高速化できる。
　（各実施の形態のさらなる変形例）
　各実施の形態のさらなる変形例を説明する。各実施の形態に係る演算回路は図２５のように変形されてもよい。図２５は、本発明の各実施の形態に係る演算回路の「行列ケース」に従う演算を実行可能な構成の他の例を模式的に示す図である。実施の形態１．～実施の形態８．の演算回路は、図２５に示すような演算回路を適用することができる。図２５でも、図２４と同様に、ｎ×ｎの係数行列Ａと、ｎ×ｎの行列Ｘの積和演算を実行可能な演算器ＣＬｋが示される。
　図２５の演算器ＣＬｋ、係数記憶回路１３２および１３２Ｒ、入力記憶回路１３３および記憶回路ＡＭＯｋの構成は、図２４のそれらと同様あるので、これらの説明は繰返さない。図２５では、演算回路は出力インターフェイス１２３Ｒを備える。出力インターフェイス１２３Ｒは、ｎ個の記憶回路ＡＭＯｋ（ｋ＝１、２、・・・、ｎ）を含む出力記憶回路１４２Ｒを備える。
　図２５では、図２４のケースとは異なり、行列Ｘの要素は行優先の順番で入力記憶回路１３３に格納されて、係数行列Ａのｋ番目の列の要素は係数記憶回路１３２Ｒに格納される。このように、図２５の演算器ＣＬｋを用いた積和演算では、行列Ｘは行ベクトルから構成されて、係数行列Ａは列ベクトルから構成されるとみなされる。
　図２５の演算器ＣＬｋは、行列Ｘのｋ番目の行ベクトル(当該行ベクトルのすべての要素ｘｋ１～ｘｋｎ)が入力記憶回路１３３に格納されると、格納された要素ｘｋ１～ｘｋｎと係数行列Ａのｋ番目の列の要素Ａｋ１～Ａｋｎとを用いた積和演算を実行する。この積和演算においては、要素Ａｋ１～Ａｋｎのうち非零の要素Ａijが選択されて、選択された非零要素Ａijを用いた積和演算が実施される。説明を簡単にするために、係数行列Ａのｋ番目の列は非零要素Ａijを含まないとする。
　係数行列Ａおよび行列Ｘを用いた積和演算が完了すると、出力記憶回路１４２Ｒのｎ個の記憶回路ＡＭＯｋが備えるｎ×ｎ個のレジスタＲＧに、それぞれ、要素Ｔijとして積和演算結果の値が格納される。したがって、出力記憶回路１４２Ｒには、（ｎ×ｎ）次元の行列Ｔが格納される。
　プロセッサ３１は、行列Ｔから読出すべき要素Ｔijの順番を決定し、決定した順番に従い、要素ＴijがレジスタＲＧから読出されるように、出力インターフェイス１２３Ｒに制御指令ＣＭを出力する。例えば、図２５の演算器ＣＬｋを備える演算回路１２の出力段に次の（別の）演算回路１２が接続される場合を想定する。この場合、制御指令ＣＭは、次の演算回路１２の入力データとして、列優先順に従う入力データとするか、または行優先順に従う入力データとするかの指定を含む。出力インターフェイス１２３Ｒは制御指令ＣＭに従い、ｎ×ｎ個のレジスタＲＧから要素Ｔijを読出す。これにより、次の演算回路１２は、入力データの行列Ｘの要素ｘijを列優先の順番または行優先の順番で受信することができる。
　図２５によれば、演算回路１２が行列と行列の積和演算を実行して得られた行列Ｔを、次の演算回路１２が入力（すなわち行列Ｘ）として受付ける場合に、次の演算回路１２は、積和演算処理を実施するに際して、行列Ｘの要素ｘijを列優先の順番または行優先の順番で並べ替える処理を実施する必要はない。
　具体的には、通常、外部入力装置６１または外部記憶装置６２を介して演算回路１２に転送される行列Ｘが画像等である場合は、外部入力装置６１または外部記憶装置６２は行列Ｘの要素ｘijを行優先の順番で演算回路１２に出力する。したがって、行列Ｔの要素ｘijが、並べ替えされずに、次の演算回路１２に出力される場合は、次の演算回路１２は積算処理を開始する前に行列Ｔの要素Ｔijを行優先の順番で並べ替える必要がある。これに対し、図２５では、出力インターフェイス１２３Ｒが制御指令ＣＭに従い出力記憶回路１４２Ｒから要素Ｔijを読出す。
　具体的には、プロセッサ３１は、例えば積和演算処理の対象となる入力データ（すなわち行列Ｔの要素Ｔij）の種類に基づき制御指令ＣＭを設定する。この種類は画像を含み得る。プロセッサ３１は、入力データの種類が画像であれば、制御指令ＣＭに“行優先”の読出指令を設定し、そうでなければ“列優先”の読出指令を設定する。
　出力インターフェイス１２３Ｒは、制御指令ＣＭが“行優先”の読出指令を示すとき、ｎ×ｎ個のレジスタＲＧから要素Ｔijを、インデックスに従い行優先の順番で読出し、また、制御指令ＣＭが“列優先”の読出指令を示すときは、要素Ｔijをインデックスに従い列優先の順番で読出す。このように、入力データの種類（画像か否か等）に基づき次の演算回路１２は、行列Ｔの要素Ｔijが列優先および行優先のいずれか一方に従い配列された入力（すなわち行列Ｘ）を受付けることができて、行列Ｘの要素ｘijの並べ替え処理を省略することができる。これにより、演算回路１２は積和演算処理を高速に実施することができる。
　今回開示された実施の形態はすべての点で例示であって制限的なものでないと考えられるべきである。この発明の範囲は上記した説明ではなくて請求の範囲によって示され、請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
　１２，１２Ａ，１２Ｂ，１２Ｃ，１２Ｄ，１２Ｅ，１２Ｆ，１２Ｇ，１２Ｈ，１２Ｉ，１２Ｊ，１２Ｋ　演算回路、１７　ポート、６１　外部入力装置、６２　外部記憶装置、６３　外部出力装置、ｘ　入力ベクトル、１１１，Ａ　係数行列、１２１　並列演算回路、１２４　共有メモリ、１３１，１３１Ａ　入力変換回路、１３２，１３２Ｄ　係数記憶回路、１３３　入力記憶回路、１３３Ａ，１３３Ｂ　２重化入力記憶回路、１３３Ｃ　入力通知回路、１４１　出力変換回路、１４２　出力記憶回路、１４２Ａ，１４２Ｂ　２重化出力記憶回路、１４３，１４３Ｉ　出力通知回路、ＣＬｋ　演算器、Ｃｋ，Ｃｎ，ＭＩｋ，ＭＯｋ　記憶回路。

Claims (17)

  1. 　非零要素と零要素とを含む係数行列に右から入力ベクトルを掛け、演算結果を出力ベクトルに出力するよう構成される複数の演算器を含む並列演算回路と、
    　複数の記憶回路を含む入力インターフェイスと、を備え、
    　前記複数の演算器は、前記複数の記憶回路にそれぞれ対応するように構成され、
    　各前記記憶回路は、
    　前記入力ベクトルの要素を記憶する入力記憶回路と、
    　リングバッファを備える係数記憶回路であって、前記リングバッファに前記係数行列を構成する行または列ベクトルの要素を格納する係数記憶回路と、を有し、
    　前記入力ベクトルの要素および前記係数行列の要素は、当該要素が乗算されるべき順番を指定するインデックスを有し、
    　前記入力インターフェイスは、前記入力ベクトルと前記係数行列の各要素を、当該要素が有する前記インデックスに基づき、前記複数の演算器のうちの１の前記演算器に対応した前記入力記憶回路と前記係数記憶回路の前記リングバッファに、それぞれ、前記順番に従い格納するよう構成され、
    　各前記演算器は、前記記憶回路の前記係数行列の前記行または列ベクトルの要素と前記入力ベクトルの対応する要素との乗算を順次実行し、当該要素の前記インデックスに基づき、当該乗算の結果を前記出力ベクトルの対応する要素に積算するように構成される、演算回路。
  2. 　前記並列演算回路は、さらに、前記係数行列に右から入力行列を掛け、演算結果を出力行列に出力するよう構成され、
    　前記入力ベクトルは、前記入力行列を構成する行または列ベクトルを含み、
    　前記出力行列を構成する行または列ベクトルは、前記各演算器に対応の前記出力ベクトルを含む、請求項１に記載の演算回路。
  3. 　前記出力行列を格納するように構成された複数の出力記憶回路を含む出力インターフェイスをさらに備え、
    　前記複数の出力記憶回路は、前記複数の演算器にそれぞれ対応するように構成され、
    　各前記出力記憶回路は、対応の前記演算器からの前記出力ベクトルを格納するように構成され、
    　前記出力インターフェイスは、前記複数の出力記憶回路から前記出力行列の要素を前記インデックスに基づき列優先または行優先で読出すように構成される、請求項２に記載の演算回路。
  4. 　前記出力インターフェイスは、制御指令に従い、前記複数の出力記憶回路から前記出力行列の要素を前記列優先または前記行優先で読出すように構成される、請求項３に記載の演算回路。
  5. 　前記出力行列を前記入力行列として他の前記演算回路に出力するとき、前記制御指令は、前記出力行列の要素が表すデータの種類に基づき、列優先および行優先のいずれか一方に従う読出指令を含む、請求項４に記載の演算回路。
  6. 　前記データの種類は画像を含む、請求項５に記載の演算回路。
  7. 　前記入力記憶回路は、２重化された入力記憶回路を含み、
    　前記２重化された入力記憶回路の一方は、外部装置からの前記入力ベクトルを格納し、格納が完了したとき、対応する前記演算器による入力ベクトルの読出が可能なように構成され、
    　前記２重化された入力記憶回路の他方は、対応する前記演算器により入力ベクトルが読出されて、読出しが完了したとき、前記外部装置からの前記入力ベクトルを格納するよう構成される、請求項１から６のいずれか１項に記載の演算回路。
  8. 　前記要素が有するインデックスは、さらに、当該要素を演算するべき前記演算器を指定し、
    　前記入力インターフェイスは、
    　外部装置からの前記係数行列の前記行または列ベクトルの要素を、当該要素が有する前記インデックスに基づき、前記複数の演算器のうちの１の前記演算器に対応した前記係数記憶回路のリングバッファに、前記順番に従い書込むよう構成される、請求項１から７のいずれか１項に記載の演算回路。
  9. 　前記演算回路は、
    　前記複数の演算器のうちの１の演算器の演算結果を格納し、他の前記演算器から読出し可能に構成される共有メモリを、さらに備える、請求項１から８のいずれか１項に記載の演算回路。
  10. 　前記出力インターフェイスは、さらに、出力回路と、前記各演算器からの前記出力ベクトルを前記外部装置に出力する複数のポートとを含み、
    　前記複数の出力記憶回路は、前記複数のポートにそれぞれ対応し、
    　前記出力回路は、
    　前記各演算器から前記出力ベクトルの要素を受付けたとき、予め定められた基準情報と当該要素の前記インデックスとに基づき、前記複数の出力記憶回路から１つを選択し、選択された出力記憶回路に当該要素を格納するよう構成される、請求項３から６のいずれか１項に記載の演算回路。
  11. 　前記出力回路は、さらに、
    　前記予め定められた基準情報と前記出力ベクトルの要素の前記インデックスとに基づく順番に従い、前記選択された出力記憶回路に当該要素を格納するよう構成される、請求項１０に記載の演算回路。
  12. 　前記出力回路は、
    　予め定められた数の要素が前記複数の出力記憶回路に格納されたとき、前記複数の出力記憶回路の前記要素を前記複数のポートを介して出力する、請求項１０または１１に記載の演算回路。
  13. 　前記出力回路は、
    　前記予め定められた数の要素が前記複数の出力記憶回路に格納されたとき、当該要素を前記複数のポートを介して出力する旨の通知を、前記外部装置に出力する、請求項１２に記載の演算回路。
  14. 　各前記出力記憶回路は、２重化された出力記憶回路を含み、
    　前記２重化された出力記憶回路の一方は、前記演算器からの前記出力ベクトルの要素を格納し、格納が完了したとき、対応する前記ポートによって要素が読出されるように構成され、
    　前記２重化された出力記憶回路の他方は、対応する前記ポートにより前記演算結果が読出されて、読出しが完了したとき、前記演算器からの前記出力ベクトルの要素が格納されるように構成される、請求項１０から１３のいずれか１項に記載の演算回路。
  15. 　前記入力ベクトルは、他の前記演算回路が備える前記各演算器からの前記出力ベクトルを含む、請求項１から１４のいずれか１項に記載の演算回路。
  16. 　前記演算回路は、畳み込みニューラルネットワークにおける畳み込み層の演算を実行するためのものであり、
    　前記入力ベクトルは、前記畳み込み層に入力される特徴マップを一列に展開したものであり、
    　前記係数行列は、前記畳み込み層で利用されるカーネルに対応する、請求項１から１５のいずれか１項に記載の演算回路。
  17. 　非零要素と零要素とを含む係数行列に右から入力ベクトルを掛け、演算結果を出力ベクトルに出力するよう構成される複数の演算器を含む並列演算回路を用いた演算方法であって、
    　前記入力ベクトルの要素および前記係数行列の要素は、当該要素が乗算されるべき順番を指定するインデックスを有し、
    　前記演算方法は、
    　前記入力ベクトルの要素を、当該要素が有する前記インデックスに基づき、前記複数の演算器のうちの１つに対応した入力記憶回路に、前記順番に従い格納すること、
    　前記係数行列を構成する行または列ベクトルの要素を、当該要素が有する前記インデックスに基づき、前記複数の演算器のうちの１つに対応したリングバッファに、前記順番に従い格納すること、
    　各前記演算器を用いて、前記リングバッファの前記係数行列の前記行または列ベクトルの要素と前記入力記憶回路の前記ベクトルの対応する要素との乗算を順次実行し、当該要素の前記インデックスに基づき、当該乗算の結果を前記出力ベクトルの対応する要素に積算すること、とを備える、演算方法。
PCT/JP2018/034834 2017-10-18 2018-09-20 演算回路および演算方法 WO2019077933A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
DE112018004972.8T DE112018004972T5 (de) 2017-10-18 2018-09-20 Operationsschaltung und operationsverfahren
US16/645,599 US11281376B2 (en) 2017-10-18 2018-09-20 Operation circuit and method of operation for use in operations that are performed in parallel using multiple operators
JP2019549165A JP6906622B2 (ja) 2017-10-18 2018-09-20 演算回路および演算方法
CN201880066106.8A CN111201525A (zh) 2017-10-18 2018-09-20 运算电路以及运算方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JPPCT/JP2017/037712 2017-10-18
JP2017037712 2017-10-18

Publications (1)

Publication Number Publication Date
WO2019077933A1 true WO2019077933A1 (ja) 2019-04-25

Family

ID=66173320

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/034834 WO2019077933A1 (ja) 2017-10-18 2018-09-20 演算回路および演算方法

Country Status (5)

Country Link
US (1) US11281376B2 (ja)
JP (1) JP6906622B2 (ja)
CN (1) CN111201525A (ja)
DE (1) DE112018004972T5 (ja)
WO (1) WO2019077933A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110750232A (zh) * 2019-10-17 2020-02-04 电子科技大学 一种基于sram的并行乘加装置

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117574036B (zh) * 2024-01-16 2024-04-12 北京壁仞科技开发有限公司 运算装置、操作方法和机器可读存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009080693A (ja) * 2007-09-26 2009-04-16 Canon Inc 演算処理装置および方法
JP2013206095A (ja) * 2012-03-28 2013-10-07 Fujitsu Ltd データ処理装置及びデータ処理装置の制御方法
JP2017027314A (ja) * 2015-07-21 2017-02-02 キヤノン株式会社 並列演算装置、画像処理装置及び並列演算方法
JP2017126203A (ja) * 2016-01-14 2017-07-20 株式会社デンソー 演算処理装置
JP2018026027A (ja) * 2016-08-12 2018-02-15 富士通株式会社 演算処理装置及び演算処理装置の制御方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63311569A (ja) 1987-06-15 1988-12-20 Hitachi Ltd コプロセツサ演算装置
JPH0748207B2 (ja) * 1989-04-14 1995-05-24 シャープ株式会社 行列演算装置
JPH05266060A (ja) * 1992-03-19 1993-10-15 Fujitsu Ltd マトリクス演算回路
JP2003067360A (ja) 2001-08-24 2003-03-07 Seiko Epson Corp 積和演算方法および積和演算装置
JP2005149517A (ja) 2004-12-06 2005-06-09 Fujitsu Ltd 積和演算器
JP5255885B2 (ja) 2008-04-02 2013-08-07 株式会社日立製作所 ベクトルプロセッサ制御装置
JP5376920B2 (ja) * 2008-12-04 2013-12-25 キヤノン株式会社 コンボリューション演算回路、階層的コンボリューション演算回路及び物体認識装置
JP2016095764A (ja) * 2014-11-17 2016-05-26 三菱電機株式会社 並列処理装置および並列処理方法
GB201611083D0 (en) * 2016-06-24 2016-08-10 Dialog Semiconductor Bv Digital sample rate conversion
CN112214727A (zh) * 2017-07-07 2021-01-12 华为技术有限公司 运算加速器

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009080693A (ja) * 2007-09-26 2009-04-16 Canon Inc 演算処理装置および方法
JP2013206095A (ja) * 2012-03-28 2013-10-07 Fujitsu Ltd データ処理装置及びデータ処理装置の制御方法
JP2017027314A (ja) * 2015-07-21 2017-02-02 キヤノン株式会社 並列演算装置、画像処理装置及び並列演算方法
JP2017126203A (ja) * 2016-01-14 2017-07-20 株式会社デンソー 演算処理装置
JP2018026027A (ja) * 2016-08-12 2018-02-15 富士通株式会社 演算処理装置及び演算処理装置の制御方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110750232A (zh) * 2019-10-17 2020-02-04 电子科技大学 一种基于sram的并行乘加装置

Also Published As

Publication number Publication date
JPWO2019077933A1 (ja) 2020-10-22
DE112018004972T5 (de) 2020-06-18
JP6906622B2 (ja) 2021-07-21
CN111201525A (zh) 2020-05-26
US20200278798A1 (en) 2020-09-03
US11281376B2 (en) 2022-03-22

Similar Documents

Publication Publication Date Title
JP7329533B2 (ja) 演算を加速するための方法および加速器装置
US11775313B2 (en) Hardware accelerator for convolutional neural networks and method of operation thereof
CN110135581B (zh) 用于执行人工神经网络反向运算的装置和方法
EP3451162B1 (en) Device and method for use in executing matrix multiplication operations
US10768894B2 (en) Processor, information processing apparatus and operation method for processor
CN108304922B (zh) 用于神经网络计算的计算设备和计算方法
CN111666255B (zh) 脉动阵列和处理系统
US20190187983A1 (en) Neural processing accelerator
KR20200143686A (ko) 연산을 가속하기 위한 가속기 및 시스템
US20190243790A1 (en) Direct memory access engine and method thereof
JPH0425586B2 (ja)
CN111338695B (zh) 基于流水线技术的数据处理方法及相关产品
EP4024290A1 (en) Implementing fully-connected neural-network layers in hardware
CN110377874B (zh) 卷积运算方法及系统
WO2019082859A1 (ja) 推論装置、畳み込み演算実行方法及びプログラム
WO2019077933A1 (ja) 演算回路および演算方法
KR20220154764A (ko) 추론 엔진 회로 아키텍처
CN110414672B (zh) 卷积运算方法、装置及系统
CN111091181B (zh) 卷积处理单元、神经网络处理器、电子设备及卷积运算方法
CN109726798B (zh) 一种数据处理方法及装置
WO2020052265A1 (en) System and method for cascaded dynamic max pooling in neural networks
CN110399976B (zh) 计算装置和计算方法
JP2022518640A (ja) データ処理方法、装置、機器、記憶媒体及びプログラム製品
US11249722B2 (en) Semiconductor device and method of controlling the semiconductor device
KR101031680B1 (ko) 고속 ｐｅ 간 데이터 재배치 기능을 갖는 프로세서 어레이 시스템

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18867570

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019549165

Country of ref document: JP

Kind code of ref document: A

122 Ep: pct application non-entry in european phase

Ref document number: 18867570

Country of ref document: EP

Kind code of ref document: A1