WO2023139990A1 - ニューラルネットワーク回路およびニューラルネットワーク演算方法 - Google Patents

ニューラルネットワーク回路およびニューラルネットワーク演算方法 Download PDF

Info

Publication number
WO2023139990A1
WO2023139990A1 PCT/JP2022/046214 JP2022046214W WO2023139990A1 WO 2023139990 A1 WO2023139990 A1 WO 2023139990A1 JP 2022046214 W JP2022046214 W JP 2022046214W WO 2023139990 A1 WO2023139990 A1 WO 2023139990A1
Authority
WO
WIPO (PCT)
Prior art keywords
circuit
core
quantization
neural network
memory
Prior art date
Application number
PCT/JP2022/046214
Other languages
English (en)
French (fr)
Inventor
賢治 渡邊
Original Assignee
ＬｅａｐＭｉｎｄ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ＬｅａｐＭｉｎｄ株式会社 filed Critical ＬｅａｐＭｉｎｄ株式会社
Publication of WO2023139990A1 publication Critical patent/WO2023139990A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Definitions

  • the present invention relates to a neural network circuit and a neural network operation method.
  • This application claims priority based on Japanese Patent Application No. 2022-008692 filed in Japan on January 24, 2022, the content of which is incorporated herein.
  • CNN convolutional neural networks
  • a convolutional neural network has a multilayer structure having convolution layers and pooling layers, and requires a large number of operations such as convolution operations.
  • Various calculation methods have been devised for speeding up calculation by a convolutional neural network (Patent Document 1, etc.).
  • the object of the present invention is to provide a high-performance neural network circuit and neural network operation method that can be incorporated into embedded devices such as IoT devices.
  • a neural network circuit has a plurality of neural network operation cores each having a convolution operation circuit that performs a convolution operation and a quantization operation circuit that performs a quantization operation, and the plurality of neural network operation cores are connected so as to be capable of inputting and outputting data.
  • a neural network operation method is a neural network operation method using a first neural network operation core and a second neural network operation core, wherein output data of the first neural network operation core is switched between loopback data flow for looping back to the first neural network and bypass data flow for bypassing the second neural network operation core.
  • the neural network circuit and neural network operation method of the present invention can be incorporated into embedded devices such as IoT devices and have high performance.
  • FIG. 2 illustrates a convolutional neural network
  • FIG. 4 is a diagram for explaining convolution operations performed by a convolution layer
  • FIG. 4 is a diagram for explaining expansion of data in a convolution operation
  • 1 is a diagram showing the overall configuration of a neural network circuit according to a first embodiment
  • FIG. It is a figure which shows the whole structure of NN arithmetic core.
  • 4 is a timing chart showing an operation example of the same NN arithmetic core
  • 4 is a timing chart showing another operation example of the same NN operation core
  • It is a figure which shows NN arithmetic multi-core.
  • It is a timing chart showing an operation example of the same NN calculation multi-core.
  • FIG. 4 is a timing chart showing another operation example of the same NN arithmetic multi-core; 4 is a timing chart showing another operation example of the same NN arithmetic multi-core; 3 is an internal block diagram of the DMAC of the same neural network circuit; FIG. 4 is a state transition diagram of a control circuit of the same DMAC; FIG. 4 is an internal block diagram of a convolution operation circuit of the same neural network circuit; FIG. FIG. 4 is an internal block diagram of a multiplier of the convolution arithmetic circuit; 3 is an internal block diagram of a sum-of-products operation unit of the same multiplier; FIG. FIG.
  • FIG. 4 is an internal block diagram of an accumulator circuit of the same convolution arithmetic circuit; It is an internal block diagram of the accumulator unit of the same accumulator circuit. 4 is an internal block diagram of a quantization arithmetic circuit of the same neural network circuit; FIG. 3 is an internal block diagram of a vector operation circuit and a quantization circuit of the same quantization operation circuit; FIG. 4 is a block diagram of an arithmetic unit; FIG. 4 is an internal block diagram of a vector quantization unit of the same quantization circuit; FIG. It is a figure explaining control of the same neural network circuit by a semaphore. It is a timing chart of the first data flow. It is a timing chart of the second data flow.
  • FIG. 8 is an internal block diagram of a convolution circuit of the neural network circuit according to the second embodiment
  • FIG. 4 is an internal block diagram of a multiplier of the convolution arithmetic circuit
  • FIG. 4 is an internal block diagram of a sum-of-products operation unit array of the same multiplier
  • FIG. 4 is an internal block diagram of a sum-of-products operation unit of the same sum-of-products operation unit array
  • It is a figure which shows the whole structure of the neural-network circuit which concerns on 3rd embodiment.
  • 4 is an internal block diagram of the first DMAC of the same neural network circuit;
  • FIG. 8 is an internal block diagram of a convolution circuit of the neural network circuit according to the second embodiment
  • FIG. 4 is an internal block diagram of a multiplier of the convolution arithmetic circuit
  • FIG. 4 is an internal block diagram of a sum-of-products operation unit array of the same multiplier
  • FIG. 4 is an internal block diagram of a sum-of-products operation
  • FIG. 4 is a timing chart showing the operation of a clock control unit such as the first DMAC; 4 is an internal block diagram of a convolution operation circuit of the same neural network circuit; FIG. 4 is an internal block diagram of a quantization arithmetic circuit of the same neural network circuit; FIG. It is a figure which shows the whole structure of the neural-network circuit which concerns on 4th embodiment.
  • FIG. 1 is a diagram showing a convolutional neural network 200 (hereinafter referred to as "CNN 200").
  • CNN 200 convolutional neural network
  • the computations performed by the neural network circuit 100 (hereinafter referred to as "NN circuit 100") according to the first embodiment are at least part of the trained CNN 200 used during inference.
  • the CNN 200 is a multi-layered network including a convolution layer 210 that performs convolution operations, a quantization operation layer 220 that performs quantization operations, and an output layer 230 .
  • convolutional layers 210 and quantization operation layers 220 are interleaved.
  • CNN200 is a model widely used for image recognition and moving image recognition.
  • the CNN 200 may further have layers with other functions, such as fully connected layers.
  • FIG. 2 is a diagram for explaining the convolution operation performed by the convolution layer 210.
  • the convolution layer 210 performs a convolution operation on input data a using weight w.
  • the convolution layer 210 performs a sum-of-products operation with input data a and weight w as inputs.
  • Input data a (also called activation data or feature map) to the convolution layer 210 is multidimensional data such as image data.
  • the input data a is a three-dimensional tensor consisting of elements (x, y, c).
  • the convolution layer 210 of the CNN 200 performs a convolution operation on low-bit input data a.
  • the elements of the input data a are 2-bit unsigned integers (0, 1, 2, 3).
  • Elements of input data a may be, for example, 4-bit or 8-bit unsigned integers.
  • the CNN 200 may further have an input layer that performs type conversion and quantization before the convolutional layer 210.
  • the weights w (also called filters or kernels) of the convolutional layer 210 are multidimensional data whose elements are learnable parameters.
  • the weight w is a 4-dimensional tensor consisting of elements (i,j,c,d).
  • the weight w has d three-dimensional tensors (hereinafter referred to as “weight wo”) each having elements (i, j, c).
  • the weight w in the learned CNN 200 is learned data.
  • Convolutional layer 210 of CNN 200 performs a convolution operation using low-bit weights w.
  • the elements of the weight w are 1-bit signed integers (0,1), where the value '0' represents +1 and the value '1' represents -1.
  • the convolution layer 210 performs the convolution operation shown in Equation 1 and outputs output data f.
  • s indicates stride.
  • the area indicated by the dotted line in FIG. 2 indicates one of the areas ao (hereinafter referred to as “applied area ao”) to which the weight wo is applied to the input data a.
  • Elements of the application area ao are represented by (x+i, y+j, c).
  • the quantization operation layer 220 performs quantization and the like on the convolution operation output from the convolution layer 210 .
  • the quantization operation layer 220 has a pooling layer 221 , a batch normalization layer 222 , an activation function layer 223 and a quantization layer 224 .
  • the pooling layer 221 compresses the output data f of the convolution layer 210 by performing calculations such as average pooling (formula 2) and MAX pooling (formula 3) on the convolutional calculation output data f output by the convolution layer 210 .
  • u indicates the input tensor
  • v indicates the output tensor
  • T indicates the size of the pooling region.
  • max is a function that outputs the maximum value of u for combinations of i and j contained in T.
  • the Batch normalization layer 222 normalizes the data distribution of the output data of the quantization operation layer 220 and the pooling layer 221 by, for example, the operation shown in Equation 4.
  • Equation 4 u denotes the input tensor, v the output tensor, ⁇ the scale, and ⁇ the bias.
  • ⁇ and ⁇ are trained constant vectors.
  • the activation function layer 223 computes an activation function such as ReLU (equation 5) on the outputs of the quantization computation layer 220, the pooling layer 221, and the batch normalization layer 222.
  • ReLU activation function
  • u is the input tensor
  • v is the output tensor.
  • max is a function that outputs the largest numerical value among the arguments.
  • the quantization layer 224 quantizes the output of the pooling layer 221 and the activation function layer 223 based on the quantization parameter, as shown in Equation 6, for example.
  • the quantization shown in Equation 6 reduces the input tensor u to 2 bits.
  • q(c) is the vector of quantization parameters.
  • q(c) is a trained constant vector.
  • the inequality sign “ ⁇ ” in Equation 6 may be “ ⁇ ”.
  • the output layer 230 is a layer that outputs the results of the CNN 200 using the identity function, softmax function, and the like.
  • a layer preceding the output layer 230 may be the convolution layer 210 or the quantization operation layer 220 .
  • the quantized output data of the quantization layer 224 is input to the convolution layer 210, so the convolution operation load of the convolution layer 210 is small compared to other convolutional neural networks that do not perform quantization.
  • the NN circuit 100 divides the input data for the convolution operation (Equation 1) of the convolution layer 210 into partial tensors and performs the operation.
  • the method of division into partial tensors and the number of divisions are not particularly limited.
  • a partial tensor is formed, for example, by splitting the input data a(x+i, y+j, c) into a(x+i, y+j, co).
  • the NN circuit 100 can also perform computation without dividing the input data for the convolution computation (equation 1) of the convolution layer 210 .
  • the variable c in Equation 1 is divided into blocks of size Bc as shown in Equation 7.
  • the variable d in Equation 1 is divided into blocks of size Bd, as shown in Equation 8.
  • co is the offset and ci is the index from 0 to (Bc-1).
  • do is the offset and di is the index from 0 to (Bd-1). Note that the size Bc and the size Bd may be the same.
  • the input data a(x+i, y+j, c) in Equation 1 is divided by the size Bc in the c-axis direction and represented by the divided input data a(x+i, y+j, co).
  • the divided input data a is also referred to as "divided input data a".
  • the weight w (i, j, c, d) in Equation 1 is divided by the size Bc in the c-axis direction and the size Bd in the d-axis direction, and is represented by the divided weight w (i, j, co, do).
  • the divided weight w is also referred to as "divided weight w".
  • the output data f(x, y, do) divided by the size Bd is obtained by Equation 9.
  • the final output data f(x, y, d) can be calculated.
  • the NN circuit 100 develops the input data a and the weight w in the convolution operation of the convolution layer 210 and performs the convolution operation.
  • FIG. 3 is a diagram for explaining expansion of data in a convolution operation.
  • Divided input data a(x+i, y+j, co) is developed into vector data having Bc elements. Elements of the divided input data a are indexed by ci (0 ⁇ ci ⁇ Bc).
  • divided input data a developed into vector data for each i and j is also referred to as "input vector A".
  • Input vector A has elements from divided input data a(x+i, y+j, co ⁇ Bc) to divided input data a(x+i, y+j, co ⁇ Bc+(Bc ⁇ 1)).
  • the division weight w (i, j, co, do) is developed into matrix data with Bc ⁇ Bd elements.
  • the elements of the division weight w developed into matrix data are indexed by ci and di (0 ⁇ di ⁇ Bd).
  • the divided weight w developed into matrix data for each i and j is also referred to as "weight matrix W".
  • the weight matrix W has division weights w (i, j, co ⁇ Bc, do ⁇ Bd) to division weights w (i, j, co ⁇ Bc+(Bc ⁇ 1), do ⁇ Bd+(Bd ⁇ 1)) as elements.
  • Output data f(x, y, do) can be obtained by shaping the vector data calculated for each of i, j, and co into a three-dimensional tensor.
  • the convolution operation of the convolution layer 210 can be performed by multiplying the vector data and the matrix data.
  • FIG. 4 is a diagram showing the overall configuration of the NN circuit 100 according to this embodiment.
  • the NN circuit 100 includes a first DMA controller 3 (hereinafter also referred to as “first DMAC 3”), a controller 6, an IFU 7, a shared memory 8, a second DMA controller 9 (hereinafter also referred to as “second DMAC 9”), and at least one neural network operation core 10 (hereinafter also referred to as "NN operation core 10").
  • the NN circuit 100 can implement a plurality of NN operation cores 10.
  • the NN circuit 100 illustrated in FIG. 4 can implement up to four NN operation cores 10 .
  • the plurality of NN operation cores 10 constitute a "neural network operation multi-core 10M (hereinafter also referred to as "NN operation multi-core 10M")" that cooperates to execute at least part of the operation of the NN 200.
  • FIG. A plurality of NN operation cores 10 are daisy-chained in this embodiment. Note that the number of NN operation cores 10 that can be implemented in the NN circuit 100 may be five or more.
  • the first DMAC 3 is connected to the external bus EB and performs data transfer between the external memory 120 such as DRAM and the NN operation core 10 .
  • the first DMAC 3 transfers data read from the external memory 120 to one of the NN operation cores 10 .
  • the first DMAC 3 may be capable of transferring the same data read from the external memory 120 to a plurality of NN operation cores 10, or may be capable of broadcasting.
  • the first DMAC 3 also transfers data between an external memory such as a DRAM and the shared memory 8 .
  • the controller 6 is connected to the external bus EB and operates as a slave of the external host CPU 110 .
  • the controller 6 has a bus bridge 60 and a register 61 .
  • the bus bridge 60 relays bus access from the external bus EB to the internal bus IB.
  • the bus bridge 60 also relays write requests and read requests from the external host CPU 110 to the register 61 .
  • the register 61 has a parameter register and a status register.
  • a parameter register is a register that controls the operation of the NN circuit 100 .
  • the status register is a register that indicates the status of the NN circuit 100, including a pointer to the instruction sequence of each module, the number of instructions, and the like. Also, the status register may be configured to include a semaphore S.
  • FIG. The external host CPU 110 can access the register 61 via the bus bridge 60 of the controller 6 .
  • the controller 6 is connected to each block of the NN circuit 100 (first DMAC 3, IFU 7, second DMAC 9, NN arithmetic core 10) via an internal bus IB.
  • the external host CPU 110 can access each block of the NN circuit 100 via the controller 6 .
  • the external host CPU 110 can issue instructions to the NN arithmetic core 10 via the controller 6 .
  • each block can update the status register (which may include the semaphore S) of the controller 6 via the internal bus IB.
  • the status register may be configured to be updated via dedicated wiring connected to each block.
  • the IFU (Instruction Fetch Unit) 7 reads from the external memory 120 instructions for each block of the NN circuit 100 (the first DMAC 3, the second DMAC 9, and the NN arithmetic core 10) via the external bus EB based on instructions from the external host CPU 110. Also, the IFU 7 transfers the read instruction command to each corresponding block of the NN circuit 100 (the first DMAC 3, the second DMAC 9, and the NN operation core 10).
  • the shared memory 8 is a rewritable memory such as a volatile memory composed of, for example, SRAM (Static RAM).
  • the shared memory 8 is a memory for temporarily recording data used by the NN operation core 10 and for recording data shared by a plurality of NN operation cores.
  • the second DMAC 9 connects the shared memory 8 and the NN operation core 10 and performs data transfer between the shared memory 8 and the NN operation core 10 .
  • the second DMAC 9 may be capable of broadcasting data read from the shared memory 8 to the multiple NN operation cores 10 .
  • the NN circuit 100 can temporarily save data and the like shared by a plurality of NN calculation cores to the shared memory 8 using the second DMAC 9 without saving it to the external memory 120 using the first DMAC 3, thereby speeding up the data transfer between the NN calculation cores. Note that the NN circuit 100 does not have to have the shared memory 8 and the second DMAC 9 .
  • FIG. 5 is a diagram showing the overall configuration of the NN operation core 10. As shown in FIG.
  • the NN operation core 10 includes a first memory 1 , a second memory 2 , a convolution operation circuit 4 and a quantization operation circuit 5 .
  • the NN operation core 10 is characterized in that a convolution operation circuit 4 and a quantization operation circuit 5 are formed in a loop via a first memory 1 and a second memory 2 .
  • the first memory 1 is a rewritable memory such as a volatile memory composed of, for example, SRAM (Static RAM). Data is written to and read from the first memory 1 via the first DMAC 3, the second DMAC 9, and the internal bus IB.
  • the external host CPU 110 can input/output data to/from the NN operation core 10 by writing/reading data to/from the first memory 1 .
  • the first memory 1 is connected to the input port of the convolution operation circuit 4 , and the convolution operation circuit 4 can read data from the first memory 1 . Also, the first memory 1 is loop-connected (C1) to the output port of the quantization operation circuit 5 , and the quantization operation circuit 5 can write data to the first memory 1 . In addition, the first memory 1 can transfer data through the inter-core connection (C2) with another NN operation core 10, and the other NN operation core 10 connected between the cores (C2) can write data to the first memory 1. In this embodiment, daisy chain connection is used as an example of inter-core connection (C2).
  • the second memory 2 is a rewritable memory such as a volatile memory composed of, for example, SRAM (Static RAM). Data is written to and read from the second memory 2 via the first DMAC 3, the second DMAC 9, and the internal bus IB.
  • the external host CPU 110 can input/output data to/from the NN operation core 10 by writing/reading data to/from the second memory 2 .
  • the second memory 2 is connected to the input port of the quantization arithmetic circuit 5, and the quantization arithmetic circuit 5 can read data from the second memory 2.
  • the second memory 2 is also connected to the output port of the convolution circuit 4 , and the convolution circuit 4 can write data to the second memory 2 .
  • the convolution operation circuit 4 is a circuit that performs convolution operations in the convolution layer 210 of the trained CNN 200 .
  • the convolution operation circuit 4 reads the input data a stored in the first memory 1 and performs a convolution operation on the input data a.
  • the convolution operation circuit 4 writes output data f of the convolution operation (hereinafter also referred to as “convolution operation output data”) to the second memory 2 .
  • the quantization operation circuit 5 is a circuit that performs at least part of the quantization operation in the quantization operation layer 220 of the trained CNN 200.
  • the quantization operation circuit 5 reads out the output data f of the convolution operation stored in the second memory 2, and performs a quantization operation on the output data f of the convolution operation (operation including at least quantization among pooling, batch normalization, activation function, and quantization).
  • the quantization operation circuit 5 writes the output data of the quantization operation (hereinafter also referred to as "quantization operation output data") to the loop-connected (C1) first memory 1 . Further, the quantization operation circuit 5 can transfer data to another NN operation core 10 via the inter-core connection (C2), and the quantization operation circuit 5 can output the quantization operation output data to the other NN operation core 10 connected to the inter-core connection (C2).
  • the NN operation core 10 Since the NN operation core 10 has the first memory 1, the second memory 2, etc., it is possible to reduce the number of data transfers of overlapping data in the data transfer by the first DMAC 3 from the external memory such as DRAM. As a result, the power consumption or processing load caused by memory access can be greatly reduced.
  • FIG. 6 is a timing chart showing an operation example of the NN arithmetic core 10.
  • the first DMAC 3 stores the layer 1 input data a in the first memory 1 .
  • the first DMAC 3 may divide the input data a of the layer 1 according to the order of the convolution operation performed by the convolution operation circuit 4 and transfer the divided data to the first memory 1 .
  • the convolution operation circuit 4 reads the layer 1 input data a stored in the first memory 1 .
  • the convolution operation circuit 4 performs the layer 1 convolution operation shown in FIG. 1 on the layer 1 input data a.
  • the output data f of the layer 1 convolution operation is stored in the second memory 2 .
  • the quantization arithmetic circuit 5 reads the layer 1 output data f stored in the second memory 2 .
  • a quantization operation circuit 5 performs a layer 2 quantization operation on layer 1 output data f.
  • the output data of the layer 2 quantization operation is stored in the first memory 1 .
  • the convolution operation circuit 4 reads the output data of the layer 2 quantization operation stored in the first memory 1 .
  • the convolution operation circuit 4 performs a layer 3 convolution operation using the output data of the layer 2 quantization operation as input data a.
  • the output data f of the layer 3 convolution operation is stored in the second memory 2 .
  • the convolution operation circuit 4 reads the output data of the quantization operation of the layer 2M-2 (M is a natural number) stored in the first memory 1.
  • the convolution operation circuit 4 performs the convolution operation of the layer 2M-1 using the output data of the quantization operation of the layer 2M-2 as the input data a.
  • the output data f of the layer 2M-1 convolution operation is stored in the second memory 2.
  • the quantization arithmetic circuit 5 reads the layer 2M-1 output data f stored in the second memory 2 .
  • the quantization operation circuit 5 performs a layer 2M quantization operation on the output data f of the 2M ⁇ 1 layer.
  • the output data of the layer 2M quantization operation are stored in the first memory 1 .
  • the convolution operation circuit 4 reads the output data of the layer 2M quantization operation stored in the first memory 1 .
  • the convolution operation circuit 4 performs a layer 2M+1 convolution operation using the output data of the layer 2M quantization operation as input data a.
  • the output data f of the layer 2M+1 convolution operation are stored in the second memory 2 .
  • the convolution operation circuit 4 and the quantization operation circuit 5 alternately perform operations to advance the operation of the CNN 200 shown in FIG.
  • the convolution operation circuit 4 performs the convolution operation of layer 2M-1 and layer 2M+1 by time division.
  • the quantization operation circuit 5 performs the quantization operation of layer 2M-2 and layer 2M by time division. Therefore, the NN operation core 10 has a significantly smaller circuit scale compared to the case where separate convolution operation circuits 4 and quantization operation circuits 5 are implemented for each layer.
  • the NN operation core 10 performs operations of the CNN 200, which has a multilayer structure of multiple layers, using circuits formed in a loop.
  • the NN operation core 10 can efficiently use hardware resources due to its looped circuit configuration. Since the NN operation core 10 forms a circuit in a loop, parameters in the convolution operation circuit 4 and the quantization operation circuit 5 that change in each layer are updated as appropriate.
  • the NN computation core 10 transfers intermediate data to an external computation device such as the external host CPU 110. After the external arithmetic device performs arithmetic on the intermediate data, the arithmetic result by the external arithmetic device is input to the first memory 1 and the second memory 2 . The NN operation core 10 resumes operation on the operation result by the external operation device.
  • FIG. 7 is a timing chart showing another operation example of the NN arithmetic core 10.
  • the NN operation core 10 may divide the input data a into partial tensors and perform operations on the partial tensors by time division.
  • the method of division into partial tensors and the number of divisions are not particularly limited.
  • FIG. 7 shows an operation example when the input data a is decomposed into two partial tensors.
  • the decomposed partial tensors be “first partial tensor a 1 ” and “second partial tensor a 2 ”.
  • the convolution operation of layer 2M-1 is decomposed into a convolution operation corresponding to the first partial tensor a 1 (denoted as “layer 2M-1 (a 1 )” in FIG. 7) and a convolution operation corresponding to the second partial tensor a 2 (denoted “layer 2M-1 (a 2 )” in FIG. 7).
  • the convolution and quantization operations corresponding to the first partial tensor a 1 and the convolution and quantization operations corresponding to the second partial tensor a 2 can be performed independently, as shown in FIG.
  • the convolution operation circuit 4 performs a layer 2M-1 convolution operation (operation indicated by layer 2M-1 (a 1 ) in FIG. 7) corresponding to the first partial tensor a 1 . After that, the convolution operation circuit 4 performs a layer 2M-1 convolution operation (operation indicated by layer 2M-1 (a 2 ) in FIG. 7) corresponding to the second partial tensor a 2 .
  • the quantization operation circuit 5 also performs a layer 2M quantization operation (operation indicated by layer 2M(a 1 ) in FIG. 7) corresponding to the first partial tensor a 1 . In this way, the NN operation core 10 can perform the layer 2M-1 convolution operation corresponding to the second partial tensor a 2 and the layer 2M quantization operation corresponding to the first partial tensor a 1 in parallel.
  • the convolution operation circuit 4 performs a layer 2M+1 convolution operation (operation indicated by layer 2M+1 (a 1 ) in FIG. 7) corresponding to the first partial tensor a 1 .
  • the quantization operation circuit 5 also performs a layer 2M quantization operation (operation indicated by layer 2M (a 2 ) in FIG. 7) corresponding to the second partial tensor a2.
  • the NN operation core 10 can perform the layer 2M+ 1 convolution operation corresponding to the first partial tensor a1 and the layer 2M quantization operation corresponding to the second partial tensor a2 in parallel.
  • the convolution and quantization operations corresponding to the first partial tensor a 1 and the convolution and quantization operations corresponding to the second partial tensor a 2 can be performed independently. Therefore, the NN operation core 10 may perform, for example, a layer 2M ⁇ 1 convolution operation corresponding to the first partial tensor a 1 and a layer 2M+2 quantization operation corresponding to the second partial tensor a 2 in parallel. That is, the convolution operation and quantization operation that the NN operation core 10 performs in parallel are not limited to the operation of successive layers.
  • the NN operation core 10 can operate the convolution operation circuit 4 and the quantization operation circuit 5 in parallel. As a result, the waiting time of the convolution operation circuit 4 and the quantization operation circuit 5 is reduced, and the operation processing efficiency of the NN operation core 10 is improved.
  • the number of divisions is 2 in the operation example shown in FIG. 7, the NN operation core 10 can operate the convolution operation circuit 4 and the quantization operation circuit 5 in parallel even when the number of divisions is greater than 2.
  • the NN operation core 10 may perform the layer 2M-1 convolution operation corresponding to the second partial tensor a 2 and the layer 2M quantization operation corresponding to the third partial tensor a 3 in parallel.
  • the order of operations is appropriately changed according to the storage conditions of the input data a in the first memory 1 and the second memory 2 .
  • Method 1 As a calculation method for partial tensors, an example (Method 1) is shown in which partial tensors in the same layer are calculated in the convolution calculation circuit 4 or quantization calculation circuit 5, and then partial tensors in the next layer are calculated.
  • Method 1 As shown in FIG. 7, in the convolution operation circuit 4, after performing the layer 2M-1 convolution operation corresponding to the first partial tensor a 1 and the second partial tensor a 2 (in FIG.
  • the calculation method for partial tensors is not limited to this.
  • the calculation method for the partial tensors may be a method of calculating partial tensors in multiple layers and then calculating remaining partial tensors (Method 2). For example, in the convolution operation circuit 4, after performing the layer 2M ⁇ 1 corresponding to the first partial tensor a 1 and the layer 2M+ 1 corresponding to the first partial tensor a 1 , the layer 2M ⁇ 1 corresponding to the second partial tensor a2 and the layer 2M+ 1 corresponding to the second partial tensor a2 may be carried out.
  • the method of computing partial tensors may be a method of computing partial tensors by combining method 1 and method 2. However, when method 2 is used, it is necessary to perform operations in accordance with the dependency regarding the operation order of partial tensors.
  • FIG. 8 is a diagram showing the NN arithmetic multicore 10M.
  • the NN operation multi-core 10M illustrated in FIG. 8 includes two NN operation cores 10 that are daisy-chained. When distinguishing between the two NN operation cores 10, the two NN operation cores 10 are referred to as "first NN operation core 10A” and "second NN operation core 10B".
  • the first memory 1 is abbreviated as "A”
  • the convolution operation circuit 4 as "C”
  • the second memory 2 as "F”
  • the quantization operation circuit 5 as "Q”.
  • the quantization arithmetic circuit 5 of the first NN arithmetic core 10A and the first memory 1 of the second NN arithmetic core 10B are daisy chain connected (C2).
  • the quantization operation circuit 5 of the first NN operation core 10A can write quantization operation output data to the first memory 1 of the loop-connected (C1) first NN operation core 10A and/or the first memory 1 of the daisy-chain-connected (C2) second NN operation core 10B.
  • the quantization arithmetic circuit 5 of the second NN arithmetic core 10B and the first memory 1 of the first NN arithmetic core 10A are daisy chain connected (C2).
  • the quantization operation circuit 5 of the second NN operation core 10B can write the quantization operation output data to the first memory 1 of the loop-connected (C1) second NN operation core 10B and/or the first memory 1 of the daisy-chain-connected (C2) first NN operation core 10A.
  • the NN operation multi-core 10M includes three or more NN operation cores 10
  • the plurality of NN operation cores 10 are daisy-chained.
  • the quantization operation circuits 5 of the NN operation cores 10 other than the NN operation core 10 at the final stage are daisy-chain connected (C2) to the first memory 1 of the NN operation core 10B at the subsequent stage.
  • the quantization operation circuit 5 of the NN operation core 10 at the final stage is daisy-chain connected (C2) to the first memory 1 of the NN operation core 10 at the first stage.
  • a plurality of NN operation cores 10 are characterized in that they are formed in a daisy chain loop.
  • the first memory (A) 1, the convolution operation circuit (C) 4, the second memory (F) 2, and the quantization operation circuit (Q) 5 are connected in a loop.
  • the first memory (A) 1, the convolution operation circuit (C) 4, the second memory (F) 2, and the quantization operation circuit (Q) 5 are connected in a daisy chain loop so that the first memory (A) 1, the convolution operation circuit (C) 4, the second memory (F) 2, and the quantization operation circuit (Q) 5 are repeatedly arranged in the same order.
  • the multiple NN operation cores 10 that make up the NN operation multi-core 10M do not have to have the same hardware configuration.
  • the capacity/configuration of the first memory 1 of the first NN operation core 10A may be different from the capacity/configuration of the first memory 1 of the second NN operation core 10B.
  • the configuration of the quantization operation circuit 5 of the first NN operation core 10A may be different from the configuration of the quantization operation circuit 5 of the second NN operation core 10B.
  • FIG. 9 is a timing chart showing operation example 1 of the NN arithmetic multi-core 10M.
  • the convolution operation and quantization operation corresponding to the first partial tensor a 1 and the convolution operation and quantization operation corresponding to the second partial tensor a 2 are performed independently by different NN operation cores 10, as shown in FIG.
  • the convolution operation circuit 4 of the first NN operation core 10A performs a layer 2M- 1 convolution operation (operation indicated by layer 2M-1 (a 1 ) in FIG. 9) corresponding to the first partial tensor a 1 .
  • the quantization operation circuit 5 of the first NN operation core 10A performs a layer 2M quantization operation (operation indicated by layer 2M(a 1 ) in FIG. 9) corresponding to the first partial tensor a 1 .
  • the quantization operation circuit 5 of the first NN operation core 10A stores the layer 2M quantization operation output data corresponding to the first partial tensor a 1 in the first memory 1 of the first NN operation core 10A.
  • the convolution operation circuit 4 of the second NN operation core 10B performs a layer 2M-1 convolution operation (operation indicated by layer 2M-1 (a 2 ) in FIG. 9) corresponding to the second partial tensor a 2 .
  • the quantization operation circuit 5 of the second NN operation core 10B performs a layer 2M quantization operation (operation indicated by layer 2M(a 2 ) in FIG. 9) corresponding to the second partial tensor a2.
  • the quantization operation circuit 5 of the second NN operation core 10B stores the layer 2M quantization operation output data corresponding to the second partial tensor a2 in the first memory 1 of the second NN operation core 10B.
  • the second DMAC 9 DMA-transfers the layer 2M quantization operation output data corresponding to the first partial tensor a 1 stored in the first memory 1 of the first NN operation core 10A to the shared memory 8 (transfer indicated by DMA1 in FIG. 9).
  • the second DMAC 9 DMA-transfers the layer 2M quantization calculation output data corresponding to the second partial tensor a2 stored in the first memory 1 of the second NN calculation core 10B to the shared memory 8 (transfer indicated by DMA2 in FIG. 9).
  • the first DMAC 3 DMA-transfers the layer 2M quantization operation output data corresponding to the first partial tensor a 1 and the second partial tensor a 2 stored in the shared memory 8 to the external memory 120 (transfer indicated by DMA 3 in FIG. 9).
  • the NN operation multi-core 10M can, for example, independently perform operations on the same layer using different NN operation cores 10 to shorten the time required for the operation.
  • the shared memory 8 and the second DMAC 9 can organize the calculation results of the NN calculation cores 10 .
  • FIG. 10 is a timing chart showing operation example 2 of the NN arithmetic multi-core 10M. Convolution and quantization operations corresponding to the first partial tensor a 1 are performed cooperatively by different NN operation cores 10 .
  • the convolution operation circuit 4 of the first NN operation core 10A performs the layer 2M-1 convolution operation (the operation indicated by layer 2M-1 (a 1 ) in FIG. 10) corresponding to the first partial tensor a 1 .
  • the quantization operation circuit 5 of the first NN operation core 10A performs a layer 2M quantization operation (operation indicated by layer 2M(a 1 ) in FIG. 10) corresponding to the first partial tensor a 1 .
  • the quantization operation circuit 5 of the first NN operation core 10A stores the layer 2M quantization operation output data corresponding to the first partial tensor a 1 in the first memory 1 of the second NN operation core 10B.
  • the convolution operation circuit 4 of the second NN operation core 10B performs the layer 2M+1 convolution operation (the operation indicated by layer 2M+1 (a 1 ) in FIG. 10) corresponding to the first partial tensor a 1 . Thereafter, the quantization operation circuit 5 of the second NN operation core 10B performs a layer 2M+2 quantization operation (operation indicated by layer 2M+2 (a 1 ) in FIG. 10) corresponding to the first partial tensor a 1 .
  • the quantization operation circuit 5 of the second NN operation core 10B stores the quantization operation output data of layer 2M+ 2 corresponding to the second partial tensor a2 in the first memory 1 of the second NN operation core 10B.
  • the first DMAC 3 DMA-transfers the layer 2M+2 quantization operation output data corresponding to the first partial tensor a 1 stored in the first memory 1 of the second NN operation core 10B to the external memory 120 (transfer indicated by DMA in FIG. 10).
  • the NN computation multi-core 10M can reduce the time required for computation by successively performing computations corresponding to the same partial tensor by different NN computation cores 10, for example.
  • FIG. 11 is a timing chart showing operation example 3 of the NN arithmetic multi-core 10M.
  • operation example 3 the configuration of the partial tensor is changed in the layer 2M ⁇ 1 convolution operation and the layer 2M+1 convolution operation.
  • the second DMAC 9 DMA-transfers the first partial tensor a 1 to the first memory 1 of the first NN operation core 10A (transfer indicated by DMA1 in FIG. 11).
  • the second DMAC 9 DMA-transfers the second partial tensor a2 to the first memory 1 of the second NN operation core 10B (transfer indicated by DMA2 in FIG. 11).
  • the convolution operation circuit 4 of the first NN operation core 10A performs the layer 2M-1 convolution operation (the operation indicated by layer 2M-1 (a 1 ) in FIG. 11) corresponding to the first partial tensor a 1 .
  • the quantization operation circuit 5 of the first NN operation core 10A performs a layer 2M quantization operation (operation indicated by layer 2M(a 1 ) in FIG. 11) corresponding to the first partial tensor a 1 .
  • the quantization operation circuit 5 of the first NN operation core 10A stores the layer 2M quantization operation output data corresponding to the first partial tensor a 1 in the first memory 1 of the first NN operation core 10A.
  • the second DMAC 9 DMA-transfers the layer 2M quantization operation output data corresponding to the first partial tensor a 1 stored in the first memory 1 of the first NN operation core 10A to the shared memory 8 (transfer indicated by DMA3 in FIG. 11).
  • the convolution operation circuit 4 of the second NN operation core 10B performs a layer 2M-1 convolution operation (operation indicated by layer 2M-1 (a 2 ) in FIG. 11) corresponding to the second partial tensor a 2 .
  • the start of the convolution operation by the convolution operation circuit 4 of the second NN operation core 10B is later than the start of the convolution operation by the convolution operation circuit 4 of the first NN operation core 10A.
  • the quantization operation circuit 5 of the second NN operation core 10B performs a layer 2M quantization operation corresponding to the second partial tensor a2 (the operation indicated by layer 2M( a2 ) in FIG. 11).
  • the quantization operation circuit 5 of the second NN operation core 10B stores the layer 2M quantization operation output data corresponding to the second partial tensor a2 in the first memory 1 of the second NN operation core 10B.
  • the second DMAC 9 DMA-transfers the layer 2M quantization operation output data corresponding to the second partial tensor a 2 stored in the first memory 1 of the second NN operation core 10B to the shared memory 8 (transfer indicated by DMA4 in FIG. 11).
  • each NN operation core 10 is optimized to perform parallel operations on input data a with 32 channels in the c-axis direction, and performs a layer 2M+1 convolution operation in which input data a has 64 channels in the c-axis direction.
  • the manner in which the input data a is divided into partial tensors may be changed so that the convolution operation circuit 4 of the NN operation core 10A operates on the input data a of channels 0 to 31, and the convolution operation circuit 4 of the NN operation core 10B operates on the input data a of channels 32 to 63.
  • Two of the subdivided partial tensors are called “third partial tensor a 3 ” and “fourth partial tensor a 4 ”.
  • the second DMAC 9 DMA-transfers the third partial tensor a3 to the first memory 1 of the first NN operation core 10A (transfer indicated by DMA5 in FIG. 11).
  • the second DMAC 9 DMA-transfers the fourth partial tensor a4 to the first memory 1 of the second NN operation core 10B (transfer indicated by DMA6 in FIG. 11).
  • the convolution operation circuit 4 of the first NN operation core 10A performs a layer 2M+1 convolution operation (operation indicated by layer 2M+1 (a 3 ) in FIG. 11) corresponding to the third partial tensor a 3 .
  • the quantization operation circuit 5 of the first NN operation core 10A performs a layer 2M+2 quantization operation (operation indicated by layer 2M+2 (a 3 ) in FIG. 11) corresponding to the third partial tensor a3 .
  • the quantization operation circuit 5 of the first NN operation core 10A stores the quantization operation output data of layer 2M+2 corresponding to the third partial tensor a3 in the first memory 1 of the first NN operation core 10A.
  • the convolution operation circuit 4 of the second NN operation core 10B performs a layer 2M+1 convolution operation (operation indicated by layer 2M+1 (a 4 ) in FIG. 11) corresponding to the fourth partial tensor a 4 .
  • the quantization operation circuit 5 of the second NN operation core 10B performs a layer 2M+2 quantization operation (operation indicated by layer 2M+2 (a 4 ) in FIG. 11) corresponding to the fourth partial tensor a 4 .
  • the quantization operation circuit 5 of the second NN operation core 10B stores the quantization operation output data of layer 2M+2 corresponding to the fourth partial tensor a4 in the first memory 1 of the second NN operation core 10B.
  • the NN circuit 100 uses the second DMAC 9 and the shared memory 8 to change the division mode of the partial tensor assigned to the NN operation core 10.
  • the NN circuit 100 can reduce the number of times the input data a is saved in the external memory 120 by DMA transfer using the first DMAC 3 even when changing the division mode of the partial tensor.
  • FIG. 12 is an internal block diagram of the first DMAC3.
  • the first DMAC 3 has a data transfer circuit 31 and a state controller 32 .
  • the first DMAC 3 has a dedicated state controller 32 for the data transfer circuit 31, and when an instruction command is input, DMA data transfer can be performed without the need for an external controller.
  • the data transfer circuit 31 is connected to the external bus EB and performs DMA data transfer between the external memory 120 such as DRAM and the NN operation core 10 .
  • the data transfer circuit 31 also performs DMA data transfer between the external memory 120 such as a DRAM and the shared memory 8 .
  • the number of DMA channels of the data transfer circuit 31 is not limited.
  • each of the first NN operation core 10A and the second NN operation core 10B may have a dedicated DMA channel.
  • the state controller 32 controls the state of the data transfer circuit 31 . Also, the state controller 32 is connected to the controller 6 via an internal bus IB. The state controller 32 has an instruction queue 33 and a control circuit 34 .
  • the instruction queue 33 is a queue in which the instruction command C3 for the first DMAC 3 is stored, and is composed of a FIFO memory, for example.
  • One or more instruction commands C3 are written into the instruction queue 33 via the IFU 7 or via the internal bus IB.
  • the control circuit 34 is a state machine that decodes the instruction command C3 and sequentially controls the data transfer circuit 31 based on the instruction command C3.
  • the control circuit 34 may be implemented by a logic circuit or by a CPU controlled by software.
  • FIG. 13 is a state transition diagram of the control circuit 34. As shown in FIG. When the instruction command C3 is input to the instruction queue 33 (Not empty), the control circuit 34 transitions from the idle state ST1 to the decode state ST2.
  • the control circuit 34 decodes the instruction command C3 output from the instruction queue 33 in the decode state ST2. Also, the control circuit 34 reads the semaphore S stored in the register 61 of the controller 6 and determines whether the operation of the data transfer circuit 31 instructed by the instruction command C3 can be executed. If it is not executable (Not ready), the control circuit 34 waits until it becomes executable (Wait). If it is executable (ready), the control circuit 34 transitions from the decode state ST2 to the execution state ST3.
  • the control circuit 34 controls the data transfer circuit 31 to perform the operation instructed by the instruction command C3.
  • the control circuit 34 removes the executed instruction command C3 from the instruction queue 33 and updates the semaphore S stored in the register 61 of the controller 6 .
  • the control circuit 34 transitions from the execution state ST3 to the decode state ST2.
  • the control circuit 34 transitions from the execution state ST3 to the idle state ST1.
  • FIG. 14 is an internal block diagram of the convolution operation circuit 4. As shown in FIG.
  • the convolution circuit 4 has a weight memory 41 , a multiplier 42 , an accumulator circuit 43 and a state controller 44 .
  • the convolution operation circuit 4 has a dedicated state controller 44 for the multiplier 42 and the accumulator circuit 43, and when an instruction command is input, the convolution operation can be performed without the need for an external controller.
  • the weight memory 41 is a memory that stores the weight w used in the convolution operation, and is a rewritable memory such as a volatile memory configured with SRAM (Static RAM), for example.
  • the first DMAC 3 writes the weight w required for the convolution operation into the weight memory 41 by DMA transfer.
  • FIG. 15 is an internal block diagram of the multiplier 42.
  • Multiplier 42 multiplies input vector A and weight matrix W.
  • the input vector A is vector data having Bc elements obtained by expanding divided input data a(x+i, y+j, co) for each i and j, as described above.
  • the weight matrix W is matrix data having Bc ⁇ Bd elements in which divided weights w(i, j, co, do) are expanded for each i and j.
  • the multiplier 42 has Bc ⁇ Bd product-sum operation units 47, and can perform multiplication of the input vector A and the weight matrix W in parallel.
  • the multiplier 42 reads out the input vector A and the weight matrix W required for multiplication from the first memory 1 and the weight memory 41 to carry out the multiplication.
  • the multiplier 42 outputs Bd sum-of-products operation results O(di).
  • FIG. 16 is an internal block diagram of the sum-of-products operation unit 47.
  • Sum-of-products unit 47 performs multiplication of input vector A element A(ci) with weight matrix W element W(ci, di). Further, the sum-of-products operation unit 47 adds the multiplication result and the multiplication result S(ci, di) of another sum-of-products operation unit 47 .
  • the sum-of-products operation unit 47 outputs the addition result S(ci+1, di).
  • Element A(ci) is a 2-bit unsigned integer (0, 1, 2, 3).
  • the element W(ci,di) is a 1-bit signed integer (0,1), where the value "0" represents +1 and the value "1" represents -1.
  • the sum-of-products operation unit 47 has an inverter (inverter) 47a, a selector 47b, and an adder 47c.
  • the sum-of-products operation unit 47 performs multiplication using only the inverter 47a and the selector 47b without using a multiplier.
  • the selector 47b selects the input of the element A(ci) when the element W(ci, di) is "0". When the element W(ci, di) is "1", the selector 47b selects the complement of the element A(ci) inverted by the inverter. Element W(ci, di) is also input to Carry-in of adder 47c.
  • the adder 47c outputs a value obtained by adding the element A(ci) to S(ci, di) when the element W(ci, di) is "0".
  • the adder 47c outputs a value obtained by subtracting the element A(ci) from S(ci, di) when W(ci, di) is "1".
  • FIG. 17 is an internal block diagram of the accumulator circuit 43. As shown in FIG. The accumulator circuit 43 accumulates the sum-of-products operation result O(di) of the multiplier 42 in the second memory 2 .
  • the accumulator circuit 43 has Bd accumulator units 48 and can accumulate Bd product-sum operation results O(di) in parallel in the second memory 2 .
  • FIG. 18 is an internal block diagram of the accumulator unit 48.
  • the accumulator unit 48 has an adder 48a and a mask portion 48b.
  • the adder 48 a adds the element O(di) of the sum-of-products operation result O and the partial sum, which is the intermediate progress of the convolution operation shown in Equation 1, stored in the second memory 2 .
  • the addition result is 16 bits per element.
  • the addition result is not limited to 16 bits per element, and may be, for example, 15 bits or 17 bits per element.
  • the adder 48a writes the addition result to the same address in the second memory 2.
  • the mask unit 48b masks the output from the second memory 2 and zeros the addition target for the element O(di) when the initialization signal clear is asserted.
  • the initialization signal clear is asserted when the intermediate partial sum is not stored in the second memory 2 .
  • the second memory 2 stores the output data f(x, y, do).
  • a state controller 44 controls the states of the multiplier 42 and the accumulator circuit 43 . Also, the state controller 44 is connected to the controller 6 via an internal bus IB. The state controller 44 has an instruction queue 45 and a control circuit 46 .
  • the instruction queue 45 is a queue in which the instruction command C4 for the convolution operation circuit 4 is stored, and is composed of, for example, a FIFO memory. An instruction command C4 is written into the instruction queue 45 via the IFU 7 or via the internal bus IB.
  • the control circuit 46 is a state machine that decodes the instruction command C4 and controls the multiplier 42 and the accumulator circuit 43 based on the instruction command C4.
  • the control circuit 46 has the same configuration as the control circuit 34 of the state controller 32 of the first DMAC3.
  • FIG. 19 is an internal block diagram of the quantization arithmetic circuit 5.
  • the quantization arithmetic circuit 5 has a quantization parameter memory 51 , a vector arithmetic circuit 52 , a quantization circuit 53 and a state controller 54 .
  • the quantization operation circuit 5 has a dedicated state controller 54 for the vector operation circuit 52 and the quantization circuit 53, and when an instruction command is input, the quantization operation can be performed without requiring an external controller.
  • the quantization parameter memory 51 is a memory that stores the quantization parameter q used in the quantization calculation, and is a rewritable memory such as a volatile memory configured with SRAM (Static RAM), for example.
  • the first DMAC 3 writes the quantization parameter q required for the quantization calculation into the quantization parameter memory 51 by DMA transfer.
  • FIG. 20 is an internal block diagram of the vector operation circuit 52 and the quantization circuit 53. As shown in FIG. The vector computation circuit 52 computes the output data f(x, y, do) stored in the second memory 2 . The vector operation circuit 52 has Bd number of operation units 57 and performs SIMD operations on the output data f(x, y, do) in parallel.
  • FIG. 21 is a block diagram of the arithmetic unit 57.
  • the arithmetic unit 57 has, for example, an ALU 57a, a first selector 57b, a second selector 57c, a register 57d, and a shifter 57e.
  • the arithmetic unit 57 may further include other calculators and the like that a known general-purpose SIMD arithmetic circuit has.
  • the vector operation circuit 52 performs at least one of the operations of the pooling layer 221 in the quantization operation layer 220, the batch normalization layer 222, and the activation function layer 223 on the output data f(x, y, do) by combining the operation units of the operation unit 57.
  • the arithmetic unit 57 can add the data stored in the register 57d and the element f(di) of the output data f(x, y, do) read from the second memory 2 by the ALU 57a.
  • the arithmetic unit 57 can store the addition result by the ALU 57a in the register 57d.
  • the arithmetic unit 57 can initialize the addition result by inputting "0" to the ALU 57a instead of the data stored in the register 57d by selecting the first selector 57b. For example, when the pooling area is 2 ⁇ 2, the shifter 57e can output the average value of the addition result by shifting the output of the ALU 57a to the right by 2 bits.
  • the vector operation circuit 52 can perform the average pooling operation shown in Equation 2 by repeating the above operations and the like by the Bd number of operation units 57 .
  • the arithmetic unit 57 can compare the data stored in the register 57d with the element f(di) of the output data f(x, y, do) read from the second memory 2 by the ALU 57a.
  • the arithmetic unit 57 can control the second selector 57c according to the comparison result by the ALU 57a to select the larger one of the data stored in the register 57d and the element f(di).
  • the arithmetic unit 57 can initialize the comparison target to the minimum value by inputting the minimum value of the possible values of the element f(di) to the ALU 57a by selecting the first selector 57b.
  • the vector operation circuit 52 can implement the MAX pooling operation of Equation 3 by repeating the above operations and the like by the Bd number of operation units 57 . Note that the shifter 57e does not shift the output of the second selector 57c in the MAX pooling calculation.
  • the arithmetic unit 57 can subtract the data stored in the register 57d and the element f(di) of the output data f(x, y, do) read from the second memory 2 by the ALU 57a.
  • Shifter 57e can left shift (ie, multiply) or right shift (ie, divide) the output of ALU 57a.
  • the vector operation circuit 52 can perform the operation of Batch Normalization of Equation 4 by repeating the above operation and the like by the Bd number of operation units 57 .
  • the arithmetic unit 57 can use the ALU 57a to compare the element f(di) of the output data f(x, y, do) read from the second memory 2 and "0" selected by the first selector 57b.
  • the arithmetic unit 57 can select and output either the element f(di) or the constant value "0" previously stored in the register 57d according to the comparison result by the ALU 57a.
  • the vector operation circuit 52 can perform the ReLU operation of Equation 5 by repeating the above operations and the like by the Bd number of operation units 57 .
  • the vector operation circuit 52 can implement average pooling, MAX pooling, batch normalization, activation function operations, and combinations of these operations. Since vector arithmetic circuit 52 is capable of performing general-purpose SIMD operations, it may also perform other operations required for operations in quantization operations layer 220 . Also, the vector operation circuit 52 may perform operations other than the operations in the quantization operation layer 220 .
  • the quantization arithmetic circuit 5 does not have to have the vector arithmetic circuit 52 . If the quantization operation circuit 5 does not have the vector operation circuit 52 , the output data f(x, y, do) are input to the quantization circuit 53 .
  • the quantization circuit 53 quantizes the output data of the vector operation circuit 52 . As shown in FIG. 20, the quantization circuit 53 has Bd quantization units 58 and performs operations on the output data of the vector operation circuit 52 in parallel.
  • FIG. 22 is an internal block diagram of quantization unit 58.
  • a quantization unit 58 quantizes the element in(di) of the output data of the vector operation circuit 52 .
  • Quantization unit 58 comprises a comparator 58a and an encoder 58b.
  • the quantization unit 58 performs the operation (formula 6) of the quantization layer 224 in the quantization operation layer 220 on the output data (16 bits/element) of the vector operation circuit 52 .
  • the quantization unit 58 reads the necessary quantization parameters q (th0, th1, th2) from the quantization parameter memory 51, and the comparator 58a compares the input in(di) with the quantization parameter q.
  • Quantization unit 58 quantizes the result of comparison by comparator 58a to 2 bits/element by encoder 58b. Since ⁇ (c) and ⁇ (c) in Equation 4 are different parameters for each variable c, the quantization parameters q(th0, th1, th2) reflecting ⁇ (c) and ⁇ (c) are different parameters for each in(di).
  • the quantization unit 58 classifies the input in(di) into four regions (for example, in ⁇ th0, th0 ⁇ in ⁇ th1, th1 ⁇ in ⁇ th2, th2 ⁇ in) by comparing the input in(di) with three thresholds th0, th1, and th2, encodes the classification result into 2 bits, and outputs it.
  • the quantization unit 58 can also perform Batch Normalization and calculation of an activation function together with quantization by setting quantization parameters q (th0, th1, th2).
  • the quantization unit 58 performs quantization by setting the threshold th0 as ⁇ (c) in Equation 4 and the threshold difference (th1 ⁇ th0) and (th2 ⁇ th1) as ⁇ (c) in Equation 4, thereby performing the Batch Normalization operation shown in Equation 4 together with quantization.
  • ⁇ (c) can be reduced by increasing (th1-th0) and (th2-th1).
  • ⁇ (c) can be increased by decreasing (th1-th0) and (th2-th1).
  • Quantization unit 58 can implement an activation function in conjunction with quantization of input in(di). For example, quantization unit 58 saturates the output values in regions where in(di) ⁇ th0 and th2 ⁇ in(di). Quantization unit 58 may perform activation function computation in conjunction with quantization by setting the quantization parameter q such that the output is non-linear.
  • the state controller 54 controls the states of the vector operation circuit 52 and the quantization circuit 53. Also, the state controller 54 is connected to the controller 6 via an internal bus IB.
  • the state controller 54 has an instruction queue 55 and a control circuit 56 .
  • the instruction queue 55 is a queue in which the instruction command C5 for the quantization arithmetic circuit 5 is stored, and is composed of a FIFO memory, for example. An instruction command C5 is written into the instruction queue 55 via the IFU 7 or via the internal bus IB.
  • the control circuit 56 is a state machine that decodes the instruction command C5 and controls the vector operation circuit 52 and the quantization circuit 53 based on the instruction command C5.
  • the control circuit 56 has the same configuration as the control circuit 34 of the state controller 32 of the first DMAC3.
  • the quantization operation circuit 5 writes quantization operation output data having Bd elements to the first memory 1 .
  • Formula 10 shows a suitable relationship between Bd and Bc.
  • n is an integer.
  • the controller 6 transfers instruction commands transferred from the external host CPU 110 to the instruction queues of the first DMAC 3, the second DMAC 9, the convolution operation circuit 4 and the quantization operation circuit 5 via the internal bus IB.
  • the controller 6 may have an instruction memory that stores instruction commands for each circuit.
  • the controller 6 is connected to the external bus EB and operates as a slave of the external host CPU 110 .
  • the controller 6 has registers 61 including parameter registers and status registers.
  • a parameter register is a register that controls the operation of the NN circuit 100 .
  • the status register is a register that indicates the status of the NN circuit 100 including the semaphore S.
  • the semaphore S is decremented by the P operation and incremented by the V operation.
  • the P operation and V operation by the first DMAC 3, the convolution operation circuit 4 and the quantization operation circuit 5 update the semaphore S of the controller 6 via the internal bus IB.
  • FIG. 23A and 23B are diagrams for explaining control of the NN circuit 100 by the semaphore S.
  • FIG. A semaphore S is provided for each data flow F via the memories (first memory 1, second memory 2) in the NN circuit 100.
  • FIG. 23 and the following description semaphores related to data flow related to the second DMAC 9 are omitted for simplicity of description. Since the NN circuit 100 in this embodiment includes a plurality of NN operation cores 10, there are a plurality of data flows. Which data flow is used to perform operations on CNN 200 is controlled by the corresponding instruction command.
  • the semaphore S has a first semaphore S11, a second semaphore S12, a third semaphore S13, and a fourth semaphore S14 for the first NN operation core 10A.
  • the first semaphore S11 is used to control the first data flow F11 of the first NN operation core 10A.
  • the first data flow F11 is a data flow in which the first DMAC 3 (Producer) writes the input data a to the first memory 1 of the first NN operation core 10A, and the convolution operation circuit 4 (Consumer) of the first NN operation core 10A reads the input data a.
  • the first semaphore S11 has a first write semaphore S11W and a first read semaphore S11R.
  • the second semaphore S12 is used to control the second data flow F12 of the first NN operation core 10A.
  • the second data flow F12 is a data flow in which the convolution operation circuit 4 (Producer) of the first NN operation core 10A writes the output data f to the second memory 2 of the first NN operation core 10A, and the quantization operation circuit 5 (Consumer) of the first NN operation core 10A reads the output data f.
  • the second semaphore S12 has a second write semaphore S12W and a second read semaphore S12R.
  • the third semaphore S13 is used to control the third data flow F13 of the first NN arithmetic core 10A.
  • the third data flow F13 is a data flow in which the quantization operation circuit 5 (Producer) of the first NN operation core 10A writes the quantization operation output data to the first memory 1 of the first NN operation core 10A, and the convolution operation circuit 4 (Consumer) of the first NN operation core 10A reads the quantization operation output data.
  • the third semaphore S13 has a third write semaphore S13W and a third read semaphore S13R.
  • the fourth semaphore S14 is used to control the fourth data flow F14 of the first NN operation core 10A.
  • the fourth data flow F14 is a data flow in which the quantization operation circuit 5 (Producer) of the second NN operation core 10B writes the quantization operation output data to the first memory 1 of the first NN operation core 10A, and the convolution operation circuit 4 (Consumer) of the first NN operation core 10A reads out the quantization operation output data.
  • the fourth semaphore S14 has a fourth write semaphore S14W and a fourth read semaphore S14R.
  • the semaphore S has a first semaphore S21, a second semaphore S22, a third semaphore S23, and a fourth semaphore S24 for the second NN operation core 10B.
  • the first semaphore S21 is used to control the first data flow F21 of the second NN operation core 10B.
  • the first data flow F21 is a data flow in which the first DMAC 3 (Producer) writes the input data a to the first memory 1 of the second NN operation core 10B, and the convolution operation circuit 4 (Consumer) of the second NN operation core 10B reads the input data a.
  • the first semaphore S21 has a first write semaphore S21W and a first read semaphore S21R.
  • the second semaphore S22 is used to control the second data flow F22 of the second NN operation core 10B.
  • the second data flow F22 is a data flow in which the convolution operation circuit 4 (Producer) of the second NN operation core 10B writes the output data f to the second memory 2 of the second NN operation core 10B, and the quantization operation circuit 5 (Consumer) of the second NN operation core 10B reads the output data f.
  • the second semaphore S22 has a second write semaphore S22W and a second read semaphore S22R.
  • the third semaphore S23 is used to control the third data flow F23 of the second NN arithmetic core 10B.
  • the third data flow F23 is a data flow in which the quantization operation circuit 5 (Producer) of the second NN operation core 10B writes the quantization operation output data to the first memory 1 of the second NN operation core 10B, and the convolution operation circuit 4 (Consumer) of the second NN operation core 10B reads out the quantization operation output data.
  • the third semaphore S23 has a third write semaphore S23W and a third read semaphore S23R.
  • the fourth semaphore S24 is used to control the fourth data flow F24 of the second NN operation core 10B.
  • the fourth data flow F24 is a data flow in which the quantization operation circuit 5 (Producer) of the first NN operation core 10A writes the quantization operation output data to the first memory 1 of the second NN operation core 10B, and the convolution operation circuit 4 (Consumer) of the second NN operation core 10B reads the quantization operation output data.
  • the fourth semaphore S24 has a fourth write semaphore S24W and a fourth read semaphore S24R.
  • FIG. 24 is a timing chart of the first data flow F11.
  • the first write semaphore S11W is a semaphore that restricts writing to the first memory 1 of the first NN operation core 10A by the first DMAC 3 in the first data flow F11 of the first NN operation core 10A.
  • the first write semaphore S11W indicates the number of memory areas in the first memory 1 that can store data of a predetermined size, such as the input vector A, in which data has already been read and other data can be written.
  • the first write semaphore S11W is "0"
  • the first DMAC 3 cannot write to the first memory 1 in the first data flow F11, and has to wait until the first write semaphore S11W becomes "1" or more.
  • the first read semaphore S11R is a semaphore that restricts reading from the first memory 1 of the first NN operation core 10A by the convolution circuit 4 of the first NN operation core 10A in the first data flow F1 of the first NN operation core 10A.
  • the first read semaphore S11R indicates the number of memory areas in which data has been written and can be read out of the memory areas in which data of a predetermined size such as the input vector A can be stored in the first memory 1 .
  • the convolution circuit 4 cannot read from the first memory 1 in the first data flow F11, and is kept waiting until the first read semaphore S11R becomes "1" or more.
  • the first DMAC 3 starts DMA transfer when the instruction command C3 is stored in the instruction queue 33 . As shown in FIG. 24, since the first write semaphore S11W is not "0", the first DMAC 3 starts DMA transfer (DMA transfer 1). The first DMAC 3 performs a P operation on the first write semaphore S11W when starting DMA transfer. After completing the DMA transfer, the first DMAC 3 performs the V operation on the first read semaphore S11R.
  • the convolution operation circuit 4 of the first NN operation core 10A starts the convolution operation.
  • the convolution circuit 4 is kept waiting until the first read semaphore S11R becomes "1" or more (Wait in decode state ST2).
  • the convolution operation circuit 4 starts the convolution operation (convolution operation 1).
  • the convolution operation circuit 4 performs the P operation on the first read semaphore S11R.
  • the convolution operation circuit 4 performs the V operation on the first write semaphore S11W.
  • the first DMAC 3 starts the DMA transfer described as "DMA transfer 3" in FIG. 24, the first write semaphore S11W is "0", so the first DMAC 3 waits until the first write semaphore S11W becomes "1" or more (Wait in decode state ST2). When the first write semaphore S11W becomes "1" or more by V operation by the convolution operation circuit 4, the first DMAC 3 starts DMA transfer.
  • the first DMAC 3 and the convolution operation circuit 4 of the first NN operation core 10A can prevent access contention to the first memory 1 in the first data flow F11.
  • the first DMAC 3 and the convolution circuit 4 of the first NN operation core 10A can operate independently and in parallel while synchronizing the data transfer in the first data flow F11 of the first NN operation core 10A by using the first semaphore S11.
  • FIG. 25 is a timing chart of the second data flow F12.
  • the second write semaphore S12W is a semaphore that restricts writing to the second memory 2 of the first NN operation core 10A by the convolution circuit 4 of the first NN operation core 10A in the second data flow F12 of the first NN operation core 10A.
  • the second write semaphore S12W indicates the number of memory areas in which data has been read and other data can be written, among memory areas in which data of a predetermined size such as output data f can be stored in the second memory 2 .
  • the convolution circuit 4 cannot write to the second memory 2 in the second data flow F12, and is kept waiting until the second write semaphore S12W becomes "1" or more.
  • the second read semaphore S12R is a semaphore that restricts reading from the second memory 2 of the first NN operation core 10A by the quantization operation circuit 5 of the first NN operation core 10A in the second data flow F2 of the first NN operation core 10A.
  • the second read semaphore S12R indicates the number of memory areas in which data has been written and can be read out of memory areas in which data of a predetermined size, such as output data f, can be stored in the second memory 2 .
  • the quantization arithmetic circuit 5 cannot read from the second memory 2 in the second data flow F12, and is kept waiting until the second read semaphore S12R becomes "1" or more.
  • the convolution operation circuit 4 of the first NN operation core 10A performs the P operation on the second write semaphore S12W when starting the convolution operation. After completing the convolution operation, the convolution operation circuit 4 performs V operation on the second read semaphore S12R.
  • the quantization operation circuit 5 of the first NN operation core 10A starts the quantization operation when the instruction command C5 is stored in the instruction queue 55. As shown in FIG. 25, since the second read semaphore S12R is "0", the quantization arithmetic circuit 5 is kept waiting until the second read semaphore S12R becomes "1" or more (Wait in decode state ST2). When the second read semaphore S12R becomes "1" by V operation by the convolution operation circuit 4, the quantization operation circuit 5 starts the quantization operation (quantization operation 1). When starting the quantization operation, the quantization operation circuit 5 performs the P operation on the second read semaphore S12R. After completing the quantization operation, the quantization operation circuit 5 performs V operation on the second write semaphore S12W.
  • the quantization operation circuit 5 starts the quantization operation described as "quantization operation 2" in FIG. 25, since the second read semaphore S12R is "0", the quantization operation circuit 5 is kept waiting until the second read semaphore S12R becomes "1" or more (Wait in decode state ST2). When the second read semaphore S12R becomes "1" or more by V operation by the convolution operation circuit 4, the quantization operation circuit 5 starts the quantization operation.
  • the convolution operation circuit 4 of the first NN operation core 10A and the quantization operation circuit 5 of the first NN operation core 10A can prevent access conflicts for the second memory 2 in the second data flow F12 by using the second semaphore S12. Further, the convolution operation circuit 4 of the first NN operation core 10A and the quantization operation circuit 5 of the first NN operation core 10A can operate independently and in parallel while synchronizing data transfer in the second data flow F12 by using the second semaphore S12.
  • FIG. 26 is a timing chart of the third data flow F13.
  • the third write semaphore S13W is a semaphore that restricts writing to the first memory 1 of the first NN operation core 10A by the quantization operation circuit 5 of the first NN operation core 10A in the third data flow F13 of the first NN operation core 10A.
  • the third write semaphore S13W indicates the number of memory areas in the first memory 1 that can store data of a predetermined size, such as the quantization operation output data of the quantization operation circuit 5, to which data has already been read and other data can be written.
  • the quantization arithmetic circuit 5 cannot write to the first memory 1 in the third data flow F13, and is kept waiting until the third write semaphore S13W becomes "1" or more.
  • the third read semaphore S13R is a semaphore that restricts reading from the first memory 1 of the first NN operation core 10A by the convolution operation circuit 4 of the first NN operation core 10A in the third data flow F13 of the first NN operation core 10A.
  • the third read semaphore S13R indicates the number of memory areas in which data has been written and can be read out of memory areas in which data of a predetermined size, such as quantization operation output data of the quantization operation circuit 5, can be stored in the first memory 1.
  • the third read semaphore S13R is "0"
  • the convolution circuit 4 cannot read from the first memory 1 in the third data flow F13, and is kept waiting until the third read semaphore S13R becomes "1" or more.
  • the quantization operation circuit 5 of the first NN operation core 10A performs the P operation on the third write semaphore S13W when starting the quantization operation. After completing the convolution operation, the quantization operation circuit 5 performs V operation on the third read semaphore S13R.
  • the convolution operation circuit 4 of the first NN operation core 10A starts the convolution operation.
  • the convolution operation circuit 4 is kept waiting until the third read semaphore S13R becomes "1" or more (Wait in decode state ST2).
  • the convolution operation circuit 4 starts the convolution operation (convolution operation 5).
  • the convolution operation circuit 4 performs the P operation on the third read semaphore S13R.
  • the convolution operation circuit 4 performs the V operation on the third write semaphore S13W.
  • the convolution operation circuit 4 starts the convolution operation described as "convolution operation 7" in FIG. 26, since the third read semaphore S13R is "0", the convolution operation circuit 4 waits until the third read semaphore S13R becomes "1" or more (Wait in decode state ST2). When the third read semaphore S13R becomes "1" or more by V operation by the quantization operation circuit 5, the convolution operation circuit 4 starts the convolution operation.
  • the quantization operation circuit 5 of the first NN operation core 10A and the convolution operation circuit 4 of the first NN operation core 10A can prevent access contention to the first memory 1 in the third data flow F13. Also, the quantization operation circuit 5 of the first NN operation core 10A and the convolution operation circuit 4 of the first NN operation core 10A can operate independently and in parallel while synchronizing the data transfer in the third data flow F13 by using the third semaphore S13.
  • FIG. 27 is a timing chart of the fourth data flow F14.
  • the fourth write semaphore S14W is a semaphore that restricts writing to the first memory 1 of the first NN operation core 10A by the quantization operation circuit 5 of the second NN operation core 10B in the fourth data flow F14 of the first NN operation core 10A.
  • the fourth write semaphore S14W indicates the number of memory areas in the first memory 1 that can store data of a predetermined size, such as the quantization operation output data of the quantization operation circuit 5, in which data has already been read and other data can be written.
  • the quantization arithmetic circuit 5 cannot write to the first memory 1 in the fourth data flow F14, and is kept waiting until the fourth write semaphore S14W becomes "1" or more.
  • the fourth read semaphore S14R is a semaphore that restricts reading from the first memory 1 of the first NN operation core 10A by the convolution operation circuit 4 of the first NN operation core 10A in the fourth data flow F14 of the first NN operation core 10A.
  • the fourth read semaphore S14R indicates the number of memory areas in which data has been written and can be read out of memory areas in which data of a predetermined size, such as quantization operation output data of the quantization operation circuit 5, can be stored in the first memory 1.
  • the fourth read semaphore S14R is "0"
  • the convolution circuit 4 cannot read from the first memory 1 in the fourth data flow F14, and is kept waiting until the fourth read semaphore S14R becomes "1" or more.
  • the quantization operation circuit 5 of the second NN operation core 10B performs the P operation on the fourth write semaphore S14W when starting the quantization operation. After completing the convolution operation, the quantization operation circuit 5 performs V operation on the fourth read semaphore S14R.
  • the convolution operation circuit 4 of the first NN operation core 10A starts the convolution operation.
  • the convolution circuit 4 is kept waiting until the fourth read semaphore S14R becomes "1" or more (Wait in decode state ST2).
  • the convolution operation circuit 4 starts the convolution operation (convolution operation 9).
  • the convolution operation circuit 4 performs the P operation on the fourth read semaphore S14R.
  • the convolution operation circuit 4 performs the V operation on the fourth write semaphore S14W.
  • the convolution operation circuit 4 starts the convolution operation described as "convolution operation 10" in FIG. 27, the fourth read semaphore S14R is "0", so the convolution operation circuit 4 waits until the fourth read semaphore S14R becomes "1" or more (Wait in decode state ST2). When the fourth read semaphore S14R becomes "1" or more by V operation by the quantization operation circuit 5, the convolution operation circuit 4 starts the convolution operation.
  • the quantization operation circuit 5 of the second NN operation core 10B and the convolution operation circuit 4 of the first NN operation core 10A can prevent access conflicts for the first memory 1 in the fourth data flow F14 by using the fourth semaphore S14. Further, the quantization operation circuit 5 of the second NN operation core 10B and the convolution operation circuit 4 of the first NN operation core 10A can operate independently and in parallel while synchronizing the data transfer between the plurality of NN operation cores 10 in the fourth data flow F14 by using the fourth semaphore S14.
  • the first memory 1 of the first NN operation core 10A is shared by three data flows (first data flow F11, third data flow F13 and fourth data flow F14).
  • first data flow F11 third data flow F13
  • fourth data flow F14 fourth data flow F14
  • the first data flow F21 of the second NN operation core 10B is equivalent to the first data flow F11 of the first NN operation core 10A.
  • the first DMAC 3 and the convolution operation circuit 4 of the second NN operation core 10B can prevent access contention to the first memory 1 in the first data flow F21 by using the first semaphore S21.
  • the first DMAC 3 and the convolution operation circuit 4 of the second NN operation core 10B can operate independently and in parallel while synchronizing the data transfer in the first data flow F21 of the second NN operation core 10B by using the first semaphore S21.
  • the second data flow F22 of the second NN operation core 10B is equivalent to the second data flow F12 of the first NN operation core 10A.
  • the convolution operation circuit 4 of the second NN operation core 10B and the quantization operation circuit 5 of the second NN operation core 10B can prevent access conflicts with respect to the second memory 2 in the second data flow F22 by using the second semaphore S22.
  • the convolution operation circuit 4 of the second NN operation core 10B and the quantization operation circuit 5 of the second NN operation core 10B can operate independently and in parallel while synchronizing data transfer in the second data flow F22 by using the second semaphore S22.
  • the third data flow F23 of the second NN operation core 10B is equivalent to the third data flow F13 of the first NN operation core 10A.
  • the quantization operation circuit 5 of the second NN operation core 10B and the convolution operation circuit 4 of the second NN operation core 10B can prevent access conflicts with respect to the first memory 1 in the third data flow F23 by using the third semaphore S23. Further, the quantization operation circuit 5 of the second NN operation core 10B and the convolution operation circuit 4 of the second NN operation core 10B can operate independently and in parallel while synchronizing data transfer in the third data flow F23 by using the third semaphore S23.
  • the fourth data flow F24 of the second NN operation core 10B is equivalent to the fourth data flow F14 of the first NN operation core 10A.
  • the quantization operation circuit 5 of the first NN operation core 10A and the convolution operation circuit 4 of the second NN operation core 10B can prevent access conflicts for the first memory 1 in the fourth data flow F24 by using the fourth semaphore S24. Further, the quantization operation circuit 5 of the first NN operation core 10A and the convolution operation circuit 4 of the second NN operation core 10B can operate independently and in parallel while synchronizing the data transfer between the plurality of NN operation cores 10 in the fourth data flow F24 by using the fourth semaphore S24.
  • the convolution operation circuit 4 of the first NN operation core 10A performs the convolution operation, it reads from the first memory 1 of the first NN operation core 10A and writes to the second memory 2 of the first NN operation core 10A. That is, the convolution operation circuit 4 is the Consumer in the three data flows (the first data flow F11, the third data flow F13, and the fourth data flow F14) and the Producer in the second data flow F12.
  • the convolution operation circuit 4 when starting the convolution operation, performs the P operation on the read semaphore (first read semaphore S11R, third read semaphore S13R, or fourth read semaphore S14R) corresponding to the data flow (see FIGS. 24, 26, and 27), and performs the P operation on the second write semaphore S12W (see FIG. 24).
  • the convolution operation circuit 4 After completing the convolution operation, the convolution operation circuit 4 performs V operation on the write semaphore corresponding to the data flow (first write semaphore S11W, third write semaphore S13W, fourth write semaphore S14W) (see FIGS. 24, 26, and 27), and performs V operation on the second read semaphore S12R (see FIG. 25).
  • the convolution operation circuit 4 of the first NN operation core 10A waits until the read semaphore (first read semaphore S11R, third read semaphore S13R, or fourth read semaphore S14R) corresponding to the data flow becomes "1" or more and the second write semaphore S12W becomes “1" or more (Wait in decode state ST2).
  • the quantization operation circuit 5 of the first NN operation core 10A reads from the second memory 2 of the first NN operation core 10A and writes to the first memory 1 of the first NN operation core 10A or the first memory 1 of the second NN operation core 10B. That is, the quantization arithmetic circuit 5 is the Consumer in the second data flow F12 and the Producer in the two data flows (the third data flow F13 and the fourth data flow F24). Therefore, when starting the quantization operation, the quantization operation circuit 5 performs the P operation on the second read semaphore S12R (see FIG.
  • the quantization operation circuit 5 performs V operation on the second write semaphore S12W (see FIG. 25), and performs V operation on the read semaphore (third read semaphore S13R or fourth read semaphore S24R) corresponding to the data flow (see FIG. 26).
  • the quantization operation circuit 5 of the first NN operation core 10A waits until the second read semaphore S12R becomes “1" or more and the write semaphore (third write semaphore S13W or fourth write semaphore S24W) corresponding to the data flow becomes "1" or more (Wait in decode state ST2).
  • the quantization operation circuit 5 of the first NN operation core 10A can switch between the third data flow F13 and the fourth data flow F24 to change the first memory 1 that stores the quantization operation output data.
  • the quantization operation circuit 5 of the second NN operation core 10B can switch between the third data flow F23 and the fourth data flow F14 to change the first memory 1 storing the quantization operation output data.
  • the NN circuit 100 that can be embedded in embedded equipment such as IoT equipment can be operated with high performance.
  • IoT equipment such as IoT equipment
  • a second embodiment of the present invention will be described with reference to FIGS. 28 to 31.
  • FIG. In the following description, the same reference numerals are given to the same configurations as those already described, and redundant descriptions will be omitted.
  • a neural network circuit 100B (hereinafter referred to as “NN circuit 100B”) according to the second embodiment differs from the neural network circuit 100 according to the first embodiment in the convolution operation circuit 4 .
  • the NN circuit 100B includes a first DMAC 3, a controller 6, an IFU 7, a shared memory 8, a second DMAC 9, and at least one neural network operation core 10E (hereinafter also referred to as "NN operation core 10E").
  • the NN operation core 10E includes a first memory 1, a second memory 2, a convolution operation circuit 4B, and a quantization operation circuit 5.
  • the convolution operation circuit 4B is a circuit that performs a convolution operation in the convolution layer 210 of the trained CNN 200.
  • the convolution operation circuit 4B reads the input data a stored in the first memory 1 and performs a convolution operation on the input data a.
  • the convolution operation circuit 4B writes the convolution operation output data to the second memory 2.
  • FIG. 28 is an internal block diagram of the convolution operation circuit 4B.
  • the convolution circuit 4B has a weight memory 41, a multiplier 42B, an accumulator circuit 43, and a state controller 44.
  • FIG. 29 is an internal block diagram of the multiplier 42.
  • a multiplier (arithmetic unit array) 42B multiplies each element a(x+i, y+j, ci) of the divided input data a(x+i, y+j, co) and each element w(i, j, ci, di) of the divided weight w(i, j, co, do).
  • the multiplier 42 has a Bc ⁇ Bd sum-of-products operation unit array 42A, and can perform parallel multiplication of the element a(x+i, y+j, ci) of the divided input data a(x+i, y+j, co) and the element w(i, j, ci, di) of the divided weight w(i, j, co, do).
  • the multiplier (arithmetic unit array) 42B reads out the elements a and w necessary for multiplication from the first memory 1 and the weight memory 41 and performs multiplication.
  • the multiplier 42 outputs Bd sum-of-products operation results O(x+i, y+j, di).
  • the number of product-sum operation unit arrays 42A included in the multiplier 42 is not limited to Bc ⁇ Bd.
  • the number of sum-of-products operation unit arrays 42A may be (Bc/P) ⁇ Bd (P is Bc or a divisor of Bc).
  • the sum-of-products operation unit array 42A divides the divided input data a(x+i, y+j, co) into P pieces in the c-axis direction.
  • the multiplier (arithmetic unit array) 42B reads the element a (x+i, y+j, ci), the element a (x+i, y+y1+j, ci), and the element a (x+i, y+y2+j, ci) from the first memory 1 (0 ⁇ y1 ⁇ y2).
  • the three sets of elements a are line data separated by a predetermined number of lines ST in the y-axis direction (ST is the stride in the y-axis direction).
  • the multiplier (arithmetic unit array) 42B may have a line memory that stores the element a.
  • the first memory 1 is preferably a multi-bank memory.
  • elements a(x+i, y+j, ci), elements a(x+i, y+y1+j, ci), and elements a(x+i, y+y2+j, ci) are stored in different banks, and each element is read independently at high speed.
  • FIG. 30 is an internal block diagram of the sum-of-products operation unit array 42A.
  • the sum-of-products operation unit array 42A multiplies the element a and the element w.
  • the sum-of-products operation unit array 42A has three sum-of-products operation units 47B.
  • the three sum-of-products operation units 47B are referred to as a first sum-of-products operation unit 471, a second sum-of-products operation unit 472, and a third sum-of-products operation unit 473.
  • FIG. 31 is an internal block diagram of the sum-of-products operation unit 47B.
  • the sum-of-products operation unit 47B multiplies the element A(ci) of the input vector A by the element W(ci, di) of the weight matrix W.
  • FIG. The sum-of-products operation unit 47 outputs the multiplication result s(ci).
  • Element A(ci) is a 2-bit unsigned integer (0, 1, 2, 3).
  • the element W(ci,di) is a 1-bit signed integer (0,1), where the value "0" represents +1 and the value "1" represents -1.
  • the sum-of-products operation unit 47B has an inverter (inverter) 47a, a selector 47b, and an adder 47c.
  • the sum-of-products operation unit 47 performs multiplication using only the inverter 47a and the selector 47b without using a multiplier.
  • the selector 47b selects the input of the element A(ci) when the element W(ci, di) is "0". When the element W(ci, di) is "1", the selector 47b selects the complement of the element A(ci) inverted by the inverter. Element W(ci, di) is also input to Carry-in of adder 47c.
  • the adder 47c outputs a value obtained by adding the element A(ci) to m(ci, di) when the element W(ci, di) is "0".
  • the adder 47c outputs a value obtained by subtracting the element A(ci) from m(ci, di) when W(ci, di) is "1".
  • the first sum-of-products operation unit 471 multiplies the element a (X, Y, ci) and the element w (i, j, ci, di) (X is an arbitrary x-coordinate included in the input data a, Y is an arbitrary y-coordinate included in the input data a).
  • the first sum-of-products operation unit 471 outputs the output m(i, j, ci, di) to the adder 47A.
  • the second sum-of-products operation unit 472 multiplies the element a (X, Y+y1, ci) and the element w (i, j+1, ci, di).
  • the second sum-of-products operation unit 472 outputs the output m(i, j+1, ci, di) to the adder 47A.
  • the third sum-of-products operation unit 473 multiplies the element a (X, Y+y2, ci) and the element w (i, j+2, ci, di).
  • the third sum-of-products operation unit 473 outputs the output m(i, j+2, ci, di) to the adder 47A.
  • the adder 47A adds the output m (i, j, ci, di), the output m (i, j+1, ci, di), the output m (i, j+2, ci, di), and the multiplication result S (x+i, y+j, ci, di) of the other product-sum operation unit 47B, and outputs the addition result S (x+i, y+j, ci+1, di).
  • operations can be parallelized by the sum-of-products operation unit array 42A, and convolution operations can be speeded up.
  • the neural network circuit 100B can suitably perform the convolution operation even if the stride ST in the y-axis direction in the convolution operation is 2 or more.
  • a third embodiment of the present invention will be described with reference to FIGS. 32 to 36.
  • FIG. In the following description, the same reference numerals are given to the same configurations as those already described, and redundant descriptions will be omitted.
  • a neural network circuit 100G (hereinafter referred to as "NN circuit 100G") according to the third embodiment further has a clock gating function and a power gating function compared to the neural network circuit 100 according to the first embodiment.
  • FIG. 32 is a diagram showing the overall configuration of the NN circuit 100G according to this embodiment.
  • the NN circuit 100G includes a first DMAC 3G, a controller 6, an IFU 7, a shared memory 8, a second DMAC 9, and at least one neural network operation core 10G (hereinafter also referred to as "NN operation core 10G"). Note that the NN circuit 100G may not have the shared memory 8 and the second DMAC 9.
  • FIG. 10G is a diagram showing the overall configuration of the NN circuit 100G according to this embodiment.
  • the NN circuit 100G includes a first DMAC 3G, a controller 6, an IFU 7, a shared memory 8, a second DMAC 9, and at least one neural network operation core 10G (hereinafter also referred to as "NN operation core 10G"). Note that the NN circuit 100G may not have the shared memory 8 and the second DMAC 9.
  • FIG. 10G neural network operation core 10G
  • the NN circuit 100G can implement a plurality of NN operation cores 10G.
  • the NN circuit 100G illustrated in FIG. 32 can implement up to four NN operation cores 10G.
  • a plurality of NN operation cores 10G constitute an "NN operation multi-core 10M" that cooperates to execute at least part of operations of the NN 200, like the NN operation cores 10 of the first embodiment.
  • a plurality of NN operation cores 10G are daisy-chained as in the first embodiment. Note that the number of NN operation cores 10 that can be implemented in the NN circuit 100G is not limited to four.
  • FIG. 33 is an internal block diagram of the first DMAC3G.
  • the first DMAC 3G like the first DMAC 3 of the first embodiment, is connected to the external bus EB and performs data transfer between the external memory 120 such as DRAM and the NN operation core 10G.
  • the first DMAC 3G has a data transfer circuit 31, a state controller 32, and a clock control section 39.
  • FIG. 34 is a timing chart showing the operation of the clock control section 39.
  • the clock control unit 39 generates a gated clock (third clock) GC3 from the clock CK supplied to the NN circuit 100G based on the clock enable signal CE3.
  • the clock enable signal CE3 is negated and set to disabled (Low in FIG. 34)
  • the toggling of the gated clock GC3 is stopped.
  • the clock enable signal CE3 is asserted and set to Enable (High in FIG. 34)
  • the gated clock GC3 starts toggling.
  • a circuit for generating the gated clock GC3 is a circuit appropriately selected from known clock gating circuits.
  • the clock enable signal CE3 is controlled by the state controller 32.
  • the control circuit 34 of the state controller 32 determines in the decode state ST2 that the operation of the data transfer circuit 31 instructed by the instruction command C3 cannot be executed, it waits until it becomes executable (Wait).
  • the control circuit 34 negates the clock enable signal CE3 to disable it during the waiting period until the above operation becomes executable. As a result, the toggling of the gated clock GC3 is stopped.
  • the control circuit 34 of the state controller 32 asserts and enables the clock enable signal CE3 when the above operation becomes executable and the decode state ST2 transitions to the execution state ST3. As a result, when the control circuit 34 is in the run state ST3, the toggling of the gated clock GC3 is resumed.
  • the generated gated clock GC3 is output to part of the state controller 32 and the data transfer circuit 31, as shown in FIG. 33, and used as an operating clock.
  • the clock control unit 39 may negate the clock enable signal CE3 to disable it in the idle state ST1. Furthermore, in the idle state ST1, the control circuit 34 may stop power supply (power gating) to the circuit to which the gated clock GC3 is supplied, and transition to the power saving mode.
  • the NN operation core 10G includes a first memory 1, a second memory 2, a convolution operation circuit 4G, and a quantization operation circuit 5G.
  • FIG. 35 is an internal block diagram of the convolution operation circuit 4G.
  • the convolution circuit 4G has a weight memory 41, a multiplier 42, an accumulator circuit 43, a state controller 44, and a clock control section 49.
  • the clock control unit 49 generates a gated clock (first clock) GC4 from the clock CK supplied to the NN circuit 100G based on the clock enable signal CE4. As shown in FIG. 34, when the clock enable signal CE4 is negated and set to disabled, the toggling of the gated clock GC4 is stopped. When the clock enable signal CE4 is asserted and set to enable, the gated clock GC4 starts toggling.
  • the clock control unit 49 has the same configuration as the clock control unit 39 of the first DMAC 3G.
  • the clock enable signal CE4 is controlled by the state controller 44.
  • the control circuit 46 of the state controller 44 determines in the decode state ST2 that the operation of the multiplier 42, the accumulator circuit 43, etc. indicated by the instruction command C4 cannot be executed, it waits until it becomes executable (Wait).
  • the control circuit 46 negates the clock enable signal CE4 to disable it during the period of waiting until the above operation becomes executable. As a result, the toggling of the gated clock GC4 is stopped.
  • the control circuit 46 of the state controller 44 asserts and enables the clock enable signal CE4 when the above operation becomes executable and the decode state ST2 transitions to the execution state ST3. As a result, when the control circuit 46 is in the run state ST3, the toggling of the gated clock GC4 is resumed.
  • the generated gated clock GC4 is output to part of the state controller 44, the weight memory 41, the multiplier 42, and the accumulator circuit 43, as shown in FIG. 35, and used as an operation clock.
  • the clock control unit 49 may negate the clock enable signal CE4 to disable it in the idle state ST1. Furthermore, in the idle state ST1, the control circuit 46 may stop power supply (power gating) to the circuit to which the gated clock GC4 is supplied, and transition to the power saving mode.
  • FIG. 36 is an internal block diagram of the quantization arithmetic circuit 5G.
  • the quantization operation circuit 5G has a quantization parameter memory 51, a vector operation circuit 52, a quantization circuit 53, a state controller 54, and a clock control section 59.
  • the clock control unit 59 generates a gated clock (third clock) GC5 from the clock CK supplied to the NN circuit 100G based on the clock enable signal CE5. As shown in FIG. 34, when the clock enable signal CE5 is negated and set to disabled, the toggling of the gated clock GC5 is stopped. When the clock enable signal CE5 is asserted and set to enable, the gated clock GC5 starts toggling.
  • the clock control section 59 has the same configuration as the clock control section 39 of the first DMAC 3G.
  • the clock enable signal CE5 is controlled by the state controller 54.
  • the control circuit 56 of the state controller 54 determines in the decode state ST2 that the operation of the vector operation circuit 52, the quantization circuit 53, etc., instructed by the instruction command C5 is not executable, it waits until it becomes executable (Wait).
  • the control circuit 56 negates the clock enable signal CE5 to disable it during the period of waiting until the above operation becomes executable.
  • the toggling of the gated clock GC5 is stopped.
  • the control circuit 56 of the state controller 54 asserts and enables the clock enable signal CE5 when the above operation becomes executable and the decode state ST2 transitions to the execution state ST3.
  • the control circuit 56 is in the run state ST3, the toggling of the gated clock GC5 is resumed.
  • the generated gated clock GC5 is output to part of the state controller 54, the quantization parameter memory 51, the vector operation circuit 52, and the quantization circuit 53, as shown in FIG. 36, and used as an operation clock.
  • the clock control unit 59 may negate the clock enable signal CE5 to disable it in the idle state ST1. Furthermore, in the idle state ST1, the control circuit 56 may stop supplying power (power gating) to the circuit to which the gated clock GC5 is supplied, and transition to the power saving mode.
  • power consumption can be reduced by clock gating and power gating.
  • the first DMAC 3G, the convolution operation circuit 4G, and the quantization operation circuit 5G independently perform clock gating and power gating.
  • a fourth embodiment of the present invention will be described with reference to FIG. In the following description, the same reference numerals are given to the same configurations as those already described, and redundant descriptions will be omitted.
  • a neural network circuit 100H (hereinafter referred to as "NN circuit 100H") according to the fourth embodiment further includes a multi-core manager 11 compared to the neural network circuit 100 according to the first embodiment.
  • FIG. 37 is a diagram showing the overall configuration of the NN circuit 100H according to this embodiment.
  • the NN circuit 100 ⁇ /b>H includes a first DMAC 3 , a controller 6 , an IFU 7 , a shared memory 8 , a second DMAC 9 , at least one NN operation core 10 and a multicore manager 11 .
  • the multi-core management unit 11 monitors the state of the NN calculation multi-core 10M and manages the clock and power supplied to the NN calculation core 10.
  • the clock and power are supplied to the operating NN operation cores 10 of the NN operation multi-core 10M, and the clock and power are not supplied to at least some of the NN operation cores 10 that are not operating. That is, the multi-core management unit 11 performs at least one of clock gating and power gating for each NN operation core 10 according to the operation status of the NN operation core 10 .
  • the NN circuit 100H can improve the arithmetic performance by mounting a plurality of the NN arithmetic cores 10, and can suitably suppress an increase in power consumption accompanying an increase in circuit scale.
  • the multi-core management unit 11 may be able to forcibly select an operable NN operation core 10. For example, the multi-core management unit 11 sets some NN operation cores 10 to be operable and other NN operation cores 10 to be inoperable. The multi-core management unit 11 stops providing clocks and power to the NN operation cores 10 set to be inoperable. By limiting the NN operation cores 10 that can operate, the multi-core management unit 11 can reduce the power consumption although the operation performance is degraded. In addition, the multi-core management unit 11 sets all the NN operation cores 10 to be operable, thereby improving the operation performance although the power consumption is increased.
  • power consumption can be reduced by clock gating and power gating.
  • the multi-core management unit 11 independently performs clock gating and power gating for each NN operation core 10 .
  • the NN circuit 100H may also perform the clock gating and power gating performed by the first DMAC 3G, the convolution operation circuit 4G and the quantization operation circuit 5G in the third embodiment.
  • the plurality of NN operation cores 10 are daisy-chained, but the manner of connection of the plurality of NN operation cores 10 is not limited to this.
  • the NN operation core 10 may be connected to at least one other NN operation core 10 so that data can be input/output.
  • the NN circuit 100 is controlled using a semaphore S provided for each data flow even when the connection modes of the plurality of NN operation cores 10 are different.
  • the first memory 1 and the second memory 2 are different memories, but the aspect of the first memory 1 and the second memory 2 is not limited to this.
  • the first memory 1 and the second memory 2 may be, for example, a first memory area and a second memory area in the same memory.
  • the semaphore S is provided for the first data flow (F11, F21), the second data flow (F12, F22), the third data flow (F13, F23), and the fourth data flow (F14, F24), but the aspect of the semaphore S is not limited to this.
  • the semaphore S may, for example, be provided in a data flow in which the first DMAC 3 writes the weight w to the weight memory 41 and the multiplier 42 reads the weight w.
  • the semaphore S may be provided, for example, in a data flow in which the first DMAC 3 writes the quantization parameter q to the quantization parameter memory 51 and the quantization circuit 53 reads the quantization parameter q.
  • the data input to the NN circuit 100 described in the above embodiments is not limited to a single format, and can consist of still images, moving images, voices, characters, numerical values, and combinations thereof.
  • the data input to the NN circuit 100 is not limited to the measurement results of a physical quantity measuring instrument such as an optical sensor, a thermometer, a Global Positioning System (GPS) measuring instrument, an angular velocity measuring instrument, and an anemometer that can be mounted on an edge device provided with the NN circuit 100.
  • Peripheral information such as base station information, vehicle/vessel information, weather information, and congestion information received from peripheral devices via wired or wireless communication, and different information such as financial information and personal information may be combined.
  • Edge devices provided with the NN circuit 100 are assumed to be communication devices such as mobile phones driven by batteries, smart devices such as personal computers, mobile devices such as digital cameras, game devices, and robot products, but are not limited to these. Unprecedented effects can also be obtained by using power on Ethernet (PoE), etc., to limit the peak power that can be supplied, reduce product heat generation, or use it for products that require long-time operation. For example, by applying it to in-vehicle cameras installed in vehicles and ships, surveillance cameras installed in public facilities and roads, etc., it is possible not only to realize long-time shooting, but also to contribute to weight reduction and durability. Similar effects can be obtained by applying the present invention to display devices such as televisions and displays, medical equipment such as medical cameras and surgical robots, and work robots used at manufacturing sites and construction sites.
  • PoE power on Ethernet
  • NN circuit 100 may implement part or all of NN circuit 100 using one or more processors.
  • the NN circuit 100 may implement part or all of the input layer or the output layer by software processing by a processor.
  • a part of the input layer or output layer realized by software processing is, for example, data normalization and transformation. This allows for various input or output formats.
  • the software executed by the processor may be rewritable using communication means or external media.
  • the NN circuit 100 may implement part of the processing in the CNN 200 by combining a graphics processing unit (GPU) on the cloud.
  • the NN circuit 100 performs further processing on the cloud in addition to the processing performed by the edge device provided with the NN circuit 100, or performs processing on the edge device in addition to the processing on the cloud, thereby realizing more complicated processing with less resources.
  • the NN circuit 100 can reduce the amount of communication between the edge device and the cloud due to processing distribution.
  • the present invention can be applied to neural network operations.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Neurology (AREA)
  • Algebra (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Complex Calculations (AREA)

Abstract

ニューラルネットワーク回路は、畳み込み演算を行う畳み込み演算回路と、量子化演算を行う量子化演算回路と、を有するニューラルネットワーク演算コアを複数有し、前記複数のニューラルネットワーク演算コアは、データ入出力可能に接続されている。

Description

ニューラルネットワーク回路およびニューラルネットワーク演算方法
　本発明は、ニューラルネットワーク回路およびニューラルネットワーク演算方法に関する。本願は、２０２２年０１月２４日に、日本国に出願された特願２０２２－００８６９２号に基づき優先権を主張し、その内容をここに援用する。
　近年、畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋ：ＣＮＮ）が画像認識等のモデルとして用いられている。畳み込みニューラルネットワークは、畳み込み層やプーリング層を有する多層構造であり、畳み込み演算等の多数の演算を必要とする。畳み込みニューラルネットワークによる演算を高速化する演算手法が様々考案されている（特許文献１など）。
特開２０１８－０７７８２９号公報
　一方で、ＩｏＴ機器などの組み込み機器においても畳み込みニューラルネットワークを利用した画像認識等を実現することが望まれている。組み込み機器においては、特許文献1等に記載された大規模な専用回路を組み込むことは難しい。また、ＣＰＵやメモリ等のハードウェアリソースが限られた組み込み機器においては、畳み込みニューラルネットワークの十分な演算性能をソフトウェアのみにより実現することは難しい。
　上記事情を踏まえ、本発明は、ＩｏＴ機器などの組み込み機器に組み込み可能かつ高性能なニューラルネットワーク回路およびニューラルネットワーク演算方法を提供することを目的とする。
　上記課題を解決するために、この発明は以下の手段を提案している。
　本発明の第一の態様に係るニューラルネットワーク回路は、畳み込み演算を行う畳み込み演算回路と、量子化演算を行う量子化演算回路と、を有するニューラルネットワーク演算コアを複数有し、前記複数のニューラルネットワーク演算コアは、データ入出力可能に接続されている。
　本発明の第二の態様に係るニューラルネットワーク演算方法は、第一ニューラルネットワーク演算コアと第二ニューラルネットワーク演算コアを用いるニューラルネットワーク演算方法であって、前記第一ニューラルネットワーク演算コアの出力データを、前記第一ニューラルネットワークにループバックさせるループバックデータフローと、第二ニューラルネットワーク演算コアにバイパスさせるバイパスデータデータフローと、を切り替える。
　本発明のニューラルネットワーク回路およびニューラルネットワーク演算方法は、ＩｏＴ機器などの組み込み機器に組み込み可能かつ高性能である。
畳み込みニューラルネットワークを示す図である。 畳み込み層が行う畳み込み演算を説明する図である。 畳み込み演算のデータの展開を説明する図である。 第一実施形態に係るニューラルネットワーク回路の全体構成を示す図である。 ＮＮ演算コアの全体構成を示す図である。 同ＮＮ演算コアの動作例を示すタイミングチャートである。 同ＮＮ演算コアの他の動作例を示すタイミングチャートである。 ＮＮ演算マルチコアを示す図である。 同ＮＮ演算マルチコアの動作例を示すタイミングチャートである。 同ＮＮ演算マルチコアの他の動作例を示すタイミングチャートである。 同ＮＮ演算マルチコアの他の動作例を示すタイミングチャートである。 同ニューラルネットワーク回路のＤＭＡＣの内部ブロック図である。 同ＤＭＡＣの制御回路のステート遷移図である。 同ニューラルネットワーク回路の畳み込み演算回路の内部ブロック図である。 同畳み込み演算回路の乗算器の内部ブロック図である。 同乗算器の積和演算ユニットの内部ブロック図である。 同畳み込み演算回路のアキュムレータ回路の内部ブロック図である。 同アキュムレータ回路のアキュムレータユニットの内部ブロック図である。 同ニューラルネットワーク回路の量子化演算回路の内部ブロック図である。 同量子化演算回路のベクトル演算回路と量子化回路の内部ブロック図である。 演算ユニットのブロック図である。 同量子化回路のベクトル量子化ユニットの内部ブロック図である。 セマフォによる同ニューラルネットワーク回路の制御を説明する図である。 第一データフローのタイミングチャートである。 第二データフローのタイミングチャートである。 第一データフローのタイミングチャートである。 第二データフローのタイミングチャートである。 第二実施形態に係るニューラルネットワーク回路の畳み込み演算回路の内部ブロック図である。 同畳み込み演算回路の乗算器の内部ブロック図である。 同乗算器の積和演算ユニットアレイの内部ブロック図である。 同積和演算ユニットアレイの積和演算ユニットの内部ブロック図である。 第三実施形態に係るニューラルネットワーク回路の全体構成を示す図である。 同ニューラルネットワーク回路の第一ＤＭＡＣの内部ブロック図である。 同第一ＤＭＡＣなどのクロック制御部の動作を示すタイミングチャートである。 同ニューラルネットワーク回路の畳み込み演算回路の内部ブロック図である。 同ニューラルネットワーク回路の量子化演算回路の内部ブロック図である。 第四実施形態に係るニューラルネットワーク回路の全体構成を示す図である。
（第一実施形態）
　本発明の第一実施形態について、図１から図２７を参照して説明する。
　図１は、畳み込みニューラルネットワーク２００（以下、「ＣＮＮ２００」という）を示す図である。第一実施形態に係るニューラルネットワーク回路１００（以下、「ＮＮ回路１００」という）が行う演算は、推論時に使用する学習済みのＣＮＮ２００の少なくとも一部である。
［ＣＮＮ２００］
　ＣＮＮ２００は、畳み込み演算を行う畳み込み層２１０と、量子化演算を行う量子化演算層２２０と、出力層２３０と、を含む多層構造のネットワークである。ＣＮＮ２００の少なくとも一部において、畳み込み層２１０と量子化演算層２２０とが交互に連結されている。ＣＮＮ２００は、画像認識や動画認識に広く使われるモデルである。ＣＮＮ２００は、全結合層などの他の機能を有する層（レイヤ）をさらに有してもよい。
　図２は、畳み込み層２１０が行う畳み込み演算を説明する図である。
　畳み込み層２１０は、入力データａに対して重みｗを用いた畳み込み演算を行う。畳み込み層２１０は、入力データａと重みｗとを入力とする積和演算を行う。
　畳み込み層２１０への入力データａ（アクティベーションデータ、特徴マップともいう）は、画像データ等の多次元データである。本実施形態において、入力データａは、要素（ｘ，ｙ，ｃ）からなる３次元テンソルである。ＣＮＮ２００の畳み込み層２１０は、低ビットの入力データａに対して畳み込み演算を行う。本実施形態において、入力データａの要素は、２ビットの符号なし整数（０，１，２，３）である。入力データａの要素は、例えば、４ビットや８ビット符号なし整数でもよい。
　ＣＮＮ２００に入力される入力データが、例えば３２ビットの浮動小数点型など、畳み込み層２１０への入力データａと形式が異なる場合、ＣＮＮ２００は畳み込み層２１０の前に型変換や量子化を行う入力層をさらに有してもよい。
　畳み込み層２１０の重みｗ（フィルタ、カーネルともいう）は、学習可能なパラメータである要素を有する多次元データである。本実施形態において、重みｗは、要素（ｉ，ｊ，ｃ，ｄ）からなる４次元テンソルである。重みｗは、要素（ｉ，ｊ，ｃ）からなる３次元テンソル（以降、「重みｗｏ」という）をｄ個有している。学習済みのＣＮＮ２００における重みｗは、学習済みのデータである。ＣＮＮ２００の畳み込み層２１０は、低ビットの重みｗを用いて畳み込み演算を行う。本実施形態において、重みｗの要素は、１ビットの符号付整数（０，１）であり、値「０」は＋１を表し、値「１」は－１を表す。
　畳み込み層２１０は、式１に示す畳み込み演算を行い、出力データｆを出力する。式１において、ｓはストライドを示す。図２において点線で示された領域は、入力データａに対して重みｗｏが適用される領域ａｏ（以降、「適用領域ａｏ」という）の一つを示している。適用領域ａｏの要素は、（ｘ＋ｉ，ｙ＋ｊ，ｃ）で表される。
Figure JPOXMLDOC01-appb-M000001
　量子化演算層２２０は、畳み込み層２１０が出力する畳み込み演算の出力に対して量子化などを実施する。量子化演算層２２０は、プーリング層２２１と、Ｂａｔｃｈ　Ｎｏｒｍａｌｉｚａｔｉｏｎ層２２２と、活性化関数層２２３と、量子化層２２４と、を有する。
　プーリング層２２１は、畳み込み層２１０が出力する畳み込み演算の出力データｆに対して平均プーリング（式２）やＭＡＸプーリング（式３）などの演算を実施して、畳み込み層２１０の出力データｆを圧縮する。式２および式３において、ｕは入力テンソルを示し、ｖは出力テンソルを示し、Ｔはプーリング領域の大きさを示す。式３において、ｍａｘはＴに含まれるｉとｊの組み合わせに対するｕの最大値を出力する関数である。
Figure JPOXMLDOC01-appb-M000002
Figure JPOXMLDOC01-appb-M000003
　Ｂａｔｃｈ　Ｎｏｒｍａｌｉｚａｔｉｏｎ層２２２は、量子化演算層２２０やプーリング層２２１の出力データに対して、例えば式４に示すような演算によりデータ分布の正規化を行う。式４において、ｕは入力テンソルを示し、ｖは出力テンソルを示し、αはスケールを示し、βはバイアスを示す。学習済みのＣＮＮ２００において、αおよびβは学習済みの定数ベクトルである。
Figure JPOXMLDOC01-appb-M000004
　活性化関数層２２３は、量子化演算層２２０やプーリング層２２１やＢａｔｃｈ　Ｎｏｒｍａｌｉｚａｔｉｏｎ層２２２の出力に対してＲｅＬＵ（式５）などの活性化関数の演算を行う。式５において、ｕは入力テンソルであり、ｖは出力テンソルである。式５において、ｍａｘは引数のうち最も大きい数値を出力する関数である。
Figure JPOXMLDOC01-appb-M000005
　量子化層２２４は、量子化パラメータに基づいて、プーリング層２２１や活性化関数層２２３の出力に対して例えば式６に示すような量子化を行う。式６に示す量子化は、入力テンソルｕを２ビットにビット削減している。式６において、ｑ(ｃ)は量子化パラメータのベクトルである。学習済みのＣＮＮ２００において、ｑ(ｃ)は学習済みの定数ベクトルである。式６における不等号「≦」は「＜」であってもよい。
Figure JPOXMLDOC01-appb-M000006
　出力層２３０は、恒等関数やソフトマックス関数等によりＣＮＮ２００の結果を出力する層である。出力層２３０の前段のレイヤは、畳み込み層２１０であってもよいし、量子化演算層２２０であってもよい。
　ＣＮＮ２００は、量子化された量子化層２２４の出力データが、畳み込み層２１０に入力されるため、量子化を行わない他の畳み込みニューラルネットワークと比較して、畳み込み層２１０の畳み込み演算の負荷が小さい。
［畳み込み演算の分割］
　ＮＮ回路１００は、畳み込み層２１０の畳み込み演算（式１）の入力データを部分テンソルに分割して演算する。部分テンソルへの分割方法や分割数は特に限定されない。部分テンソルは、例えば、入力データａ（ｘ＋ｉ，ｙ＋ｊ，ｃ）をａ（ｘ＋ｉ，ｙ＋ｊ，ｃｏ）に分割することにより形成される。なお、ＮＮ回路１００は、畳み込み層２１０の畳み込み演算（式１）の入力データを分割せずに演算することもできる。
　畳み込み演算の入力データ分割において、式１における変数ｃは、式７に示すように、サイズＢｃのブロックで分割される。また、式１における変数ｄは、式８に示すように、サイズＢｄのブロックで分割される。式７において、ｃｏはオフセットであり、ｃｉは０から(Ｂｃ－１)までのインデックスである。式８において、ｄｏはオフセットであり、ｄｉは０から(Ｂｄ－１)までのインデックスである。なお、サイズＢｃとサイズＢｄは同じであってもよい。
Figure JPOXMLDOC01-appb-M000007
Figure JPOXMLDOC01-appb-M000008
　式１における入力データａ（ｘ＋ｉ，ｙ＋ｊ，ｃ）は、ｃ軸方向においてサイズＢｃにより分割され、分割された入力データａ（ｘ＋ｉ，ｙ＋ｊ，ｃｏ）で表される。以降の説明において、分割された入力データａを「分割入力データａ」ともいう。
　式１における重みｗ（ｉ，ｊ，ｃ，ｄ）は、ｃ軸方向においてサイズＢｃおよびｄ軸方向においてサイズＢｄにより分割され、分割された重みｗ（ｉ，ｊ，ｃｏ，ｄｏ）で表される。以降の説明において、分割された重みｗを「分割重みｗ」ともいう。
　サイズＢｄにより分割された出力データｆ（ｘ，ｙ，ｄｏ）は、式９により求まる。分割された出力データｆ（ｘ，ｙ，ｄｏ）を組み合わせることで、最終的な出力データｆ（ｘ，ｙ，ｄ）を算出できる。
Figure JPOXMLDOC01-appb-M000009
［畳み込み演算のデータの展開］
　ＮＮ回路１００は、畳み込み層２１０の畳み込み演算における入力データａおよび重みｗを展開して畳み込み演算を行う。
　図３は、畳み込み演算のデータの展開を説明する図である。
　分割入力データａ（ｘ＋ｉ、ｙ＋ｊ、ｃｏ）は、Ｂｃ個の要素を持つベクトルデータに展開される。分割入力データａの要素は、ｃｉでインデックスされる（０≦ｃｉ＜Ｂｃ）。以降の説明において、ｉ，ｊごとにベクトルデータに展開された分割入力データａを「入力ベクトルＡ」ともいう。入力ベクトルＡは、分割入力データａ（ｘ＋ｉ、ｙ＋ｊ、ｃｏ×Ｂｃ）から分割入力データａ（ｘ＋ｉ、ｙ＋ｊ、ｃｏ×Ｂｃ＋（Ｂｃ－１））までを要素とする。
　分割重みｗ（ｉ，ｊ，ｃｏ、ｄｏ）は、Ｂｃ×Ｂｄ個の要素を持つマトリクスデータに展開される。マトリクスデータに展開された分割重みｗの要素は、ｃｉとｄｉでインデックスされる（０≦ｄｉ＜Ｂｄ）。以降の説明において、ｉ，ｊごとにマトリクスデータに展開された分割重みｗを「重みマトリクスＷ」ともいう。重みマトリクスＷは、分割重みｗ（ｉ，ｊ，ｃｏ×Ｂｃ、ｄｏ×Ｂｄ）から分割重みｗ（ｉ，ｊ，ｃｏ×Ｂｃ＋（Ｂｃ－１）、ｄｏ×Ｂｄ＋（Ｂｄ－１））までを要素とする。
　入力ベクトルＡと重みマトリクスＷとを乗算することで、ベクトルデータが算出される。ｉ，ｊ，ｃｏごとに算出されたベクトルデータを３次元テンソルに整形することで、出力データｆ（ｘ，ｙ，ｄｏ）を得ることができる。このようなデータの展開を行うことで、畳み込み層２１０の畳み込み演算を、ベクトルデータとマトリクスデータとの乗算により実施できる。
［ＮＮ回路１００］
　図４は、本実施形態に係るＮＮ回路１００の全体構成を示す図である。
　ＮＮ回路１００は、第一ＤＭＡコントローラ３（以下、「第一ＤＭＡＣ３」ともいう）と、コントローラ６と、ＩＦＵ７と、共有メモリ８と、第二ＤＭＡコントローラ９（以下、「第二ＤＭＡＣ９」ともいう）と、少なくとも一つのニューラルネットワーク演算コア１０（以下、「ＮＮ演算コア１０」ともいう）と、を備える。
　ＮＮ回路１００は、複数のＮＮ演算コア１０を実装可能である。図４に例示するＮＮ回路１００は、ＮＮ演算コア１０を最大４つまで実装可能である。複数のＮＮ演算コア１０は、ＮＮ２００の少なくとの一部の演算を連携して実行する「ニューラルネットワーク演算マルチコア１０Ｍ（以下、「ＮＮ演算マルチコア１０Ｍ」ともいう）」を構成する。複数のＮＮ演算コア１０は、本実施形態においてデイジーチェーン接続されている。なお、ＮＮ回路１００に実装可能なＮＮ演算コア１０の数は５個以上であってもよい。
　第一ＤＭＡＣ３は、外部バスＥＢに接続されており、ＤＲＡＭなどの外部メモリ１２０とＮＮ演算コア１０との間のデータ転送を行う。第一ＤＭＡＣ３は、複数のＮＮ演算コア１０のいずれかに対して外部メモリ１２０から読み出したデータの転送を行う。なお、第一ＤＭＡＣ３は、複数のＮＮ演算コア１０に対して外部メモリ１２０から読み出した同一のデータを転送可能であってもよいし、ブロードキャスト可能であってもよい。また、第一ＤＭＡＣ３は、ＤＲＡＭなどの外部メモリと共有メモリ８との間のデータ転送を行う。
　コントローラ６は、外部バスＥＢに接続されており、外部のホストＣＰＵ１１０のスレーブとして動作する。コントローラ６は、バスブリッジ６０と、レジスタ６１と、を有する。
　バスブリッジ６０は、外部バスＥＢから内部バスＩＢへのバスアクセスを中継する。また、バスブリッジ６０は、外部ホストＣＰＵ１１０からレジスタ６１への書き込み要求および読み込み要求を中継する。
　レジスタ６１は、パラメータレジスタや状態レジスタを有する。パラメータレジスタは、ＮＮ回路１００の動作を制御するレジスタである。状態レジスタは各モジュールの命令列のポインタ・命令数などを含み、ＮＮ回路１００の状態を示すレジスタである。また、状態レジスタはセマフォＳを含む構成としてよい。外部ホストＣＰＵ１１０は、コントローラ６のバスブリッジ６０を経由して、レジスタ６１にアクセスできる。
　コントローラ６は、内部バスＩＢを介して、ＮＮ回路１００の各ブロック（第一ＤＭＡＣ３、ＩＦＵ７、第二ＤＭＡＣ９、ＮＮ演算コア１０）と接続されている。外部ホストＣＰＵ１１０は、コントローラ６を経由して、ＮＮ回路１００の各ブロックに対してアクセスできる。例えば、外部ホストＣＰＵ１１０は、コントローラ６を経由して、ＮＮ演算コア１０に対する命令を指示することができる。また、各ブロックは、内部バスＩＢを介して、コントローラ６が有する状態レジスタ（セマフォＳを含んでもよい）を更新できる。状態レジスタは、各ブロックと接続された専用配線を介して更新されるように構成されていてもよい。
　ＩＦＵ（Instruction Fetch Unit）７は、外部ホストＣＰＵ１１０の指示に基づいて、外部バスＥＢを経由してＮＮ回路１００の各ブロック（第一ＤＭＡＣ３、第二ＤＭＡＣ９、ＮＮ演算コア１０）に対する命令コマンドを外部メモリ１２０から読み出す。また、ＩＦＵ７は、読み出した命令コマンドを対応するＮＮ回路１００の各ブロック（第一ＤＭＡＣ３、第二ＤＭＡＣ９、ＮＮ演算コア１０）に転送する。
　共有メモリ８は、例えばＳＲＡＭ（Ｓｔａｔｉｃ　ＲＡＭ）などで構成された揮発性のメモリ等の書き換え可能なメモリである。共有メモリ８は、ＮＮ演算コア１０が使用するデータを一時的に記録したり、複数のＮＮ演算コアが共有するデータを記録したりするメモリである。
　第二ＤＭＡＣ９は、共有メモリ８とＮＮ演算コア１０とを接続しており、共有メモリ８とＮＮ演算コア１０との間のデータ転送を行う。なお、第二ＤＭＡＣ９は、複数のＮＮ演算コア１０に対して共有メモリ８から読み出したデータをブロードキャスト可能であってもよい。
　ＮＮ回路１００は、複数のＮＮ演算コアが共有するデータ等を、第一ＤＭＡＣ３を用いて外部メモリ１２０に退避させなくとも、第二ＤＭＡＣ９を用いて共有メモリ８に一時的に退避させることができ、ＮＮ演算コア間のデータ転送を高速化できる。なお、ＮＮ回路１００は、共有メモリ８および第二ＤＭＡＣ９を有していなくてもよい。
［ＮＮ演算コア１０］
　図５は、ＮＮ演算コア１０の全体構成を示す図である。
　ＮＮ演算コア１０は、第一メモリ１と、第二メモリ２と、畳み込み演算回路４と、量子化演算回路５と、を備える。ＮＮ演算コア１０は、第一メモリ１および第二メモリ２を介して、畳み込み演算回路４と量子化演算回路５とがループ状に形成されていることを特徴とする。
　第一メモリ１は、例えばＳＲＡＭ（Ｓｔａｔｉｃ　ＲＡＭ）などで構成された揮発性のメモリ等の書き換え可能なメモリである。第一メモリ１には、第一ＤＭＡＣ３や第二ＤＭＡＣ９や内部バスＩＢを介してデータの書き込みおよび読み出しが行われる。外部ホストＣＰＵ１１０は、第一メモリ１に対するデータの書き込みや読み出しにより、ＮＮ演算コア１０に対するデータの入出力を行うことができる。
　第一メモリ１は、畳み込み演算回路４の入力ポートと接続されており、畳み込み演算回路４は第一メモリ１からデータを読み出すことができる。また、第一メモリ１は、量子化演算回路５の出力ポートとループ接続（Ｃ１）されており、量子化演算回路５は第一メモリ１にデータを書き込むことができる。また、第一メモリ１は、他のＮＮ演算コア１０との間のコア間接続（Ｃ２）でデータ転送が可能であり、コア間接続（Ｃ２）された他のＮＮ演算コア１０は第一メモリ１にデータを書き込むことができる。なお、本実施形態において、コア間接続（Ｃ２）の一例として、デイジーチェーン接続を用いている。
　第二メモリ２は、例えばＳＲＡＭ（Ｓｔａｔｉｃ　ＲＡＭ）などで構成された揮発性のメモリ等の書き換え可能なメモリである。第二メモリ２には、第一ＤＭＡＣ３や第二ＤＭＡＣ９や内部バスＩＢを介してデータの書き込みおよび読み出しが行われる。外部ホストＣＰＵ１１０は、第二メモリ２に対するデータの書き込みや読み出しにより、ＮＮ演算コア１０に対するデータの入出力を行うことができる。
　第二メモリ２は、量子化演算回路５の入力ポートと接続されており、量子化演算回路５は第二メモリ２からデータを読み出すことができる。また、第二メモリ２は、畳み込み演算回路４の出力ポートと接続されており、畳み込み演算回路４は第二メモリ２にデータを書き込むことができる。
　畳み込み演算回路４は、学習済みのＣＮＮ２００の畳み込み層２１０における畳み込み演算を行う回路である。畳み込み演算回路４は、第一メモリ１に格納された入力データａを読み出し、入力データａに対して畳み込み演算を実施する。畳み込み演算回路４は、畳み込み演算の出力データｆ（以降、「畳み込み演算出力データ」ともいう）を第二メモリ２に書き込む。
　量子化演算回路５は、学習済みのＣＮＮ２００の量子化演算層２２０における量子化演算の少なくとも一部を行う回路である。量子化演算回路５は、第二メモリ２に格納された畳み込み演算の出力データｆを読み出し、畳み込み演算の出力データｆに対して量子化演算（プーリング、Ｂａｔｃｈ　Ｎｏｒｍａｌｉｚａｔｉｏｎ、活性化関数、および量子化のうち少なくとも量子化を含む演算）を実施する。
　量子化演算回路５は、量子化演算の出力データ（以降、「量子化演算出力データ」ともいう）をループ接続（Ｃ１）された第一メモリ１に書き込む。また、量子化演算回路５は、他のＮＮ演算コア１０とコア間接続（Ｃ２）経由でデータ転送可能であり、量子化演算回路５はコア間接続（Ｃ２）された他のＮＮ演算コア１０に量子化演算出力データを出力することができる。
　ＮＮ演算コア１０は、第一メモリ１や第二メモリ２等を有するため、ＤＲＡＭなどの外部メモリからの第一ＤＭＡＣ３によるデータ転送において、重複するデータのデータ転送の回数を低減できる。これにより、メモリアクセスにより発生する消費電力または処理負荷を大幅に低減することができる。
［ＮＮ演算コア１０の動作例１］
　図６は、ＮＮ演算コア１０の動作例を示すタイミングチャートである。
　第一ＤＭＡＣ３は、レイヤ１の入力データａを第一メモリ１に格納する。第一ＤＭＡＣ３は、畳み込み演算回路４が行う畳み込み演算の順序にあわせて、レイヤ１の入力データａを分割して第一メモリ１に転送してもよい。
　畳み込み演算回路４は、第一メモリ１に格納されたレイヤ１の入力データａを読み出す。畳み込み演算回路４は、レイヤ１の入力データａに対して図１に示すレイヤ１の畳み込み演算を行う。レイヤ１の畳み込み演算の出力データｆは、第二メモリ２に格納される。
　量子化演算回路５は、第二メモリ２に格納されたレイヤ１の出力データｆを読み出す。量子化演算回路５は、レイヤ１の出力データｆに対してレイヤ２の量子化演算を行う。レイヤ２の量子化演算の出力データは、第一メモリ１に格納される。
　畳み込み演算回路４は、第一メモリ１に格納されたレイヤ２の量子化演算の出力データを読み出す。畳み込み演算回路４は、レイヤ２の量子化演算の出力データを入力データａとしてレイヤ３の畳み込み演算を行う。レイヤ３の畳み込み演算の出力データｆは、第二メモリ２に格納される。
　畳み込み演算回路４は、第一メモリ１に格納されたレイヤ２Ｍ－２（Ｍは自然数）の量子化演算の出力データを読み出す。畳み込み演算回路４は、レイヤ２Ｍ－２の量子化演算の出力データを入力データａとしてレイヤ２Ｍ－１の畳み込み演算を行う。レイヤ２Ｍ－１の畳み込み演算の出力データｆは、第二メモリ２に格納される。
　量子化演算回路５は、第二メモリ２に格納されたレイヤ２Ｍ－１の出力データｆを読み出す。量子化演算回路５は、２Ｍ－１レイヤの出力データｆに対してレイヤ２Ｍの量子化演算を行う。レイヤ２Ｍの量子化演算の出力データは、第一メモリ１に格納される。
　畳み込み演算回路４は、第一メモリ１に格納されたレイヤ２Ｍの量子化演算の出力データを読み出す。畳み込み演算回路４は、レイヤ２Ｍの量子化演算の出力データを入力データａとしてレイヤ２Ｍ＋１の畳み込み演算を行う。レイヤ２Ｍ＋１の畳み込み演算の出力データｆは、第二メモリ２に格納される。
　畳み込み演算回路４と量子化演算回路５とが交互に演算を行い、図１に示すＣＮＮ２００の演算を進めていく。ＮＮ演算コア１０は、畳み込み演算回路４が時分割によりレイヤ２Ｍ－１とレイヤ２Ｍ＋１の畳み込み演算を実施する。また、ＮＮ演算コア１０は、量子化演算回路５が時分割によりレイヤ２Ｍ－２とレイヤ２Ｍの量子化演算を実施する。そのため、ＮＮ演算コア１０は、レイヤごとに別々の畳み込み演算回路４と量子化演算回路５を実装する場合と比較して、回路規模が著しく小さい。
　ＮＮ演算コア１０は、複数のレイヤの多層構造であるＣＮＮ２００の演算を、ループ状に形成された回路により演算する。ＮＮ演算コア１０は、ループ状の回路構成により、ハードウェア資源を効率的に利用できる。なお、ＮＮ演算コア１０は、ループ状に回路を形成するために、各レイヤで変化する畳み込み演算回路４や量子化演算回路５におけるパラメータは適宜更新される。
　ＣＮＮ２００の演算にＮＮ演算コア１０により実施できない演算が含まれる場合、ＮＮ演算コア１０は外部ホストＣＰＵ１１０などの外部演算デバイスに中間データを転送する。外部演算デバイスが中間データに対して演算を行った後、外部演算デバイスによる演算結果は第一メモリ１や第二メモリ２に入力される。ＮＮ演算コア１０は、外部演算デバイスによる演算結果に対する演算を再開する。
［ＮＮ演算コア１０の動作例２］
　図７は、ＮＮ演算コア１０の他の動作例を示すタイミングチャートである。
　ＮＮ演算コア１０は、入力データａを部分テンソルに分割して、時分割により部分テンソルに対する演算を行ってもよい。部分テンソルへの分割方法や分割数は特に限定されない。
　図７は、入力データａを二つの部分テンソルに分解した場合の動作例を示している。分解された部分テンソルを、「第一部分テンソルａ1」、「第二部分テンソルａ2」とする。例えば、レイヤ２Ｍ－１の畳み込み演算は、第一部分テンソルａ1に対応する畳み込み演算（図７において、「レイヤ２Ｍ－１（ａ1）」と表記）と、第二部分テンソルａ2に対応する畳み込み演算（図７において、「レイヤ２Ｍ－１（ａ2）」と表記）と、に分解される。
　第一部分テンソルａ1に対応する畳み込み演算および量子化演算と、第二部分テンソルａ2に対応する畳み込み演算および量子化演算とは、図７に示すように、独立して実施することができる。
　畳み込み演算回路４は、第一部分テンソルａ1に対応するレイヤ２Ｍ－１の畳み込み演算（図７において、レイヤ２Ｍ－１（ａ1）で示す演算）を行う。その後、畳み込み演算回路４は、第二部分テンソルａ２に対応するレイヤ２Ｍ－１の畳み込み演算（図７において、レイヤ２Ｍ－１（ａ２）で示す演算）を行う。また、量子化演算回路５は、第一部分テンソルａ1に対応するレイヤ２Ｍの量子化演算（図７において、レイヤ２Ｍ（ａ1）で示す演算）を行う。このように、ＮＮ演算コア１０は、第二部分テンソルａ２に対応するレイヤ２Ｍ－１の畳み込み演算と、第一部分テンソルａ1に対応するレイヤ２Ｍの量子化演算と、を並列に実施できる。
　次に、畳み込み演算回路４は、第一部分テンソルａ1に対応するレイヤ２Ｍ＋１の畳み込み演算（図７において、レイヤ２Ｍ＋１（ａ1）で示す演算）を行う。また、量子化演算回路５は、第二部分テンソルａ２に対応するレイヤ２Ｍの量子化演算（図７において、レイヤ２Ｍ（ａ２）で示す演算）を行う。このように、ＮＮ演算コア１０は、第一部分テンソルａ1に対応するレイヤ２Ｍ＋１の畳み込み演算と、第二部分テンソルａ２に対応するレイヤ２Ｍの量子化演算と、を並列に実施できる。
　第一部分テンソルａ1に対応する畳み込み演算および量子化演算と、第二部分テンソルａ2に対応する畳み込み演算および量子化演算とは、独立して実施することができる。そのため、ＮＮ演算コア１０は、例えば、第一部分テンソルａ1に対応するレイヤ２Ｍ－１の畳み込み演算と、第二部分テンソルａ２に対応するレイヤ２Ｍ＋２の量子化演算と、を並列に実施してもよい。すなわち、ＮＮ演算コア１０が並列で演算する畳み込み演算と量子化演算は、連続するレイヤの演算に限定されない。
　入力データａを部分テンソルに分割することで、ＮＮ演算コア１０は畳み込み演算回路４と量子化演算回路５とを並列して動作させることができる。その結果、畳み込み演算回路４と量子化演算回路５が待機する時間が削減され、ＮＮ演算コア１０の演算処理効率が向上する。図７に示す動作例において分割数は２であったが、分割数が２より大きい場合も同様に、ＮＮ演算コア１０は畳み込み演算回路４と量子化演算回路５とを並列して動作させることができる。
　例えば、入力データａが「第一部分テンソルａ1」、「第二部分テンソルａ2」および「第三部分テンソルａ３」に分割される場合、ＮＮ演算コア１０は、第二部分テンソルａ２に対応するレイヤ２Ｍ－１の畳み込み演算と、第三部分テンソルａ３に対応するレイヤ２Ｍの量子化演算と、を並列に実施してもよい。演算の順序は、第一メモリ１および第二メモリ２における入力データａの格納状況によって適宜変更される。
　なお、部分テンソルに対する演算方法としては、同一レイヤにおける部分テンソルの演算を畳み込み演算回路４または量子化演算回路５で行った後に次のレイヤにおける部分テンソルの演算を行う例（方法１）を示した。例えば、図７に示すように、畳み込み演算回路４において、第一部分テンソルａ1および第二部分テンソルａ２に対応するレイヤ２Ｍ－１の畳み込み演算（図７において、レイヤ２Ｍ－１（ａ1）およびレイヤ２Ｍ－１（ａ２）で示す演算）を行った後に、第一部分テンソルａ1および第二部分テンソルａ２に対応するレイヤ２Ｍ＋１の畳み込み演算（図７において、レイヤ２Ｍ＋１（ａ1）およびレイヤ２Ｍ＋１（ａ２）で示す演算）を実施している。
　しかしながら、部分テンソルに対する演算方法はこれに限られない。部分テンソルに対する演算方法は、複数レイヤにおける一部の部分テンソルの演算をした後に残部の部分テンソルの演算を実施する方法でもよい（方法２）。例えば、畳み込み演算回路４において、第一部分テンソルａ1に対応するレイヤ２Ｍ－１および第一部分テンソルａ1に対応するレイヤ２Ｍ＋１の畳み込み演算を行った後に、第二部分テンソルａ２に対応するレイヤ２Ｍ－１および第二部分テンソルａ２に対応するレイヤ２Ｍ＋１の畳み込み演算を実施してもよい。
　また、部分テンソルに対する演算方法は、方法１と方法２とを組み合わせて部分テンソルを演算する方法でもよい。ただし、方法２を用いる場合は、部分テンソルの演算順序に関する依存関係に従って演算を実施する必要がある。
［ＮＮ演算マルチコア１０Ｍ］
　図８は、ＮＮ演算マルチコア１０Ｍを示す図である。
　図８に例示するＮＮ演算マルチコア１０Ｍは、デイジーチェーン接続された二つのＮＮ演算コア１０を備える。二つのＮＮ演算コア１０を区別する場合、二つのＮＮ演算コア１０を、「第一ＮＮ演算コア１０Ａ」と、「第二ＮＮ演算コア１０Ｂ」という。なお、図８において、第一メモリ１は「Ａ」、畳み込み演算回路４は「Ｃ」、第二メモリ２は「Ｆ」、量子化演算回路５は「Ｑ」として略記されている。
　具体的には、第一ＮＮ演算コア１０Ａの量子化演算回路５と、第二ＮＮ演算コア１０Ｂの第一メモリ１とがデイジーチェーン接続（Ｃ２）されている。第一ＮＮ演算コア１０Ａの量子化演算回路５は、ループ接続（Ｃ１）された第一ＮＮ演算コア１０Ａの第一メモリ１または／およびデイジーチェーン接続（Ｃ２）された第二ＮＮ演算コア１０Ｂの第一メモリ１に量子化演算出力データを書き込むことができる。
　具体的には、第二ＮＮ演算コア１０Ｂの量子化演算回路５と、第一ＮＮ演算コア１０Ａの第一メモリ１とがデイジーチェーン接続（Ｃ２）されている。第二ＮＮ演算コア１０Ｂの量子化演算回路５は、ループ接続（Ｃ１）された第二ＮＮ演算コア１０Ｂの第一メモリ１または／およびデイジーチェーン接続（Ｃ２）された第一ＮＮ演算コア１０Ａの第一メモリ１に量子化演算出力データを書き込むことができる。
　ＮＮ演算マルチコア１０Ｍが三つ以上のＮＮ演算コア１０を備える場合も同様に、複数のＮＮ演算コア１０はデイジーチェーン接続される。最終段のＮＮ演算コア１０以外のＮＮ演算コア１０の量子化演算回路５は、後段のＮＮ演算コア１０Ｂの第一メモリ１とデイジーチェーン接続（Ｃ２）される。最終段のＮＮ演算コア１０の量子化演算回路５は、最初段のＮＮ演算コア１０の第一メモリ１とデイジーチェーン接続（Ｃ２）されている。複数のＮＮ演算コア１０はデイジーチェーンループ（数珠繋ぎ）状に形成されていることを特徴とする。
　一つのＮＮ演算コア１０において、第一メモリ（Ａ）１と畳み込み演算回路（Ｃ）４と第二メモリ（Ｆ）２と量子化演算回路（Ｑ）５とは、ループ状に接続されている。一方、ＮＮ演算マルチコア１０Ｍにおいては、第一メモリ（Ａ）１と畳み込み演算回路（Ｃ）４と第二メモリ（Ｆ）２と量子化演算回路（Ｑ）５とは、第一メモリ（Ａ）１と畳み込み演算回路（Ｃ）４と第二メモリ（Ｆ）２と量子化演算回路（Ｑ）５とが同じ順番で繰り返し配列するように、デイジーチェーンループ（数珠繋ぎ）状に接続されている。
　ＮＮ演算マルチコア１０Ｍを構成する複数のＮＮ演算コア１０は、同一のハードウェア構成でなくてもよい。例えば、第一ＮＮ演算コア１０Ａの第一メモリ１の容量・構成は、第二ＮＮ演算コア１０Ｂの第一メモリ１の容量・構成と異なっていてもよい。例えば、第一ＮＮ演算コア１０Ａの量子化演算回路５の構成は、第二ＮＮ演算コア１０Ｂの量子化演算回路５の構成と異なっていてもよい。
［ＮＮ演算マルチコア１０Ｍの動作例１］
　図９は、ＮＮ演算マルチコア１０Ｍの動作例１を示すタイミングチャートである。
　第一部分テンソルａ1に対応する畳み込み演算および量子化演算と、第二部分テンソルａ2に対応する畳み込み演算および量子化演算とは、図９に示すように、異なるＮＮ演算コア１０により独立して実施される。
　第一ＮＮ演算コア１０Ａの畳み込み演算回路４は、第一部分テンソルａ1に対応するレイヤ２Ｍ－１の畳み込み演算（図９において、レイヤ２Ｍ－１（ａ1）で示す演算）を行う。その後、第一ＮＮ演算コア１０Ａの量子化演算回路５は、第一部分テンソルａ1に対応するレイヤ２Ｍの量子化演算（図９において、レイヤ２Ｍ（ａ1）で示す演算）を行う。第一ＮＮ演算コア１０Ａの量子化演算回路５は、第一部分テンソルａ1に対応するレイヤ２Ｍの量子化演算出力データを第一ＮＮ演算コア１０Ａの第一メモリ１に格納する。
　第二ＮＮ演算コア１０Ｂの畳み込み演算回路４は、第二部分テンソルａ2に対応するレイヤ２Ｍ－１の畳み込み演算（図９において、レイヤ２Ｍ－１（ａ2）で示す演算）を行う。その後、第二ＮＮ演算コア１０Ｂの量子化演算回路５は、第二部分テンソルａ２に対応するレイヤ２Ｍの量子化演算（図９において、レイヤ２Ｍ（ａ２）で示す演算）を行う。第二ＮＮ演算コア１０Ｂの量子化演算回路５は、第二部分テンソルａ２に対応するレイヤ２Ｍの量子化演算出力データを第二ＮＮ演算コア１０Ｂの第一メモリ１に格納する。
　第二ＤＭＡＣ９は、第一ＮＮ演算コア１０Ａの第一メモリ１に格納された第一部分テンソルａ1に対応するレイヤ２Ｍの量子化演算出力データを、共有メモリ８にＤＭＡ転送（図９において、ＤＭＡ１で示す転送）する。つぎに、第二ＤＭＡＣ９は、第二ＮＮ演算コア１０Ｂの第一メモリ１に格納された第二部分テンソルａ２に対応するレイヤ２Ｍの量子化演算出力データを、共有メモリ８にＤＭＡ転送（図９において、ＤＭＡ２で示す転送）する。
　第一ＤＭＡＣ３は、共有メモリ８に格納された第一部分テンソルａ1および第二部分テンソルａ2に対応するレイヤ２Ｍの量子化演算出力データを、外部メモリ１２０に対してＤＭＡ転送（図９において、ＤＭＡ３で示す転送）する。
　ＮＮ演算マルチコア１０Ｍは、例えば同じレイヤの演算を異なるＮＮ演算コア１０により独立して実施して演算に必要な時間を短縮できる。また、共有メモリ８および第二ＤＭＡＣ９により、各ＮＮ演算コア１０の演算結果を取りまとめることができる。
［ＮＮ演算マルチコア１０Ｍの動作例２］
　図１０は、ＮＮ演算マルチコア１０Ｍの動作例２を示すタイミングチャートである。
　第一部分テンソルａ1に対応する畳み込み演算および量子化演算は、異なるＮＮ演算コア１０により協調して実施される。
　第一ＮＮ演算コア１０Ａの畳み込み演算回路４は、第一部分テンソルａ1に対応するレイヤ２Ｍ－１の畳み込み演算（図１０において、レイヤ２Ｍ－１（ａ1）で示す演算）を実施する。その後、第一ＮＮ演算コア１０Ａの量子化演算回路５は、第一部分テンソルａ1に対応するレイヤ２Ｍの量子化演算（図１０において、レイヤ２Ｍ（ａ1）で示す演算）を実施する。第一ＮＮ演算コア１０Ａの量子化演算回路５は、第一部分テンソルａ1に対応するレイヤ２Ｍの量子化演算出力データを第二ＮＮ演算コア１０Ｂの第一メモリ１に格納する。
　第二ＮＮ演算コア１０Ｂの畳み込み演算回路４は、第一部分テンソルａ１に対応するレイヤ２Ｍ＋１の畳み込み演算（図１０において、レイヤ２Ｍ＋１（ａ１）で示す演算）を実施する。その後、第二ＮＮ演算コア１０Ｂの量子化演算回路５は、第一部分テンソルａ１に対応するレイヤ２Ｍ＋２の量子化演算（図１０において、レイヤ２Ｍ＋２（ａ１）で示す演算）を行う。第二ＮＮ演算コア１０Ｂの量子化演算回路５は、第二部分テンソルａ２に対応するレイヤ２Ｍ＋２の量子化演算出力データを第二ＮＮ演算コア１０Ｂの第一メモリ１に格納する。
　第一ＤＭＡＣ３は、第二ＮＮ演算コア１０Ｂの第一メモリ１に格納された第一部分テンソルａ1に対応するレイヤ２Ｍ＋２の量子化演算出力データを、外部メモリ１２０に対してＤＭＡ転送（図１０において、ＤＭＡで示す転送）する。
　ＮＮ演算マルチコア１０Ｍは、例えば同じ部分テンソルに対応する演算を異なるＮＮ演算コア１０により連続して実施して演算に必要な時間を短縮できる。
［ＮＮ演算マルチコア１０Ｍの動作例３］
　図１１は、ＮＮ演算マルチコア１０Ｍの動作例３を示すタイミングチャートである。
　動作例３においては、レイヤ２Ｍ－１の畳み込み演算と、レイヤ２Ｍ＋１の畳み込み演算において部分テンソルの構成が変更される。
　第二ＤＭＡＣ９は、第一ＮＮ演算コア１０Ａの第一メモリ１に第一部分テンソルａ1をＤＭＡ転送（図１１において、ＤＭＡ１で示す転送）する。つぎに、第二ＤＭＡＣ９は、第二ＮＮ演算コア１０Ｂの第一メモリ１に第二部分テンソルａ２をＤＭＡ転送（図１１において、ＤＭＡ２で示す転送）する。
　第一ＮＮ演算コア１０Ａの畳み込み演算回路４は、第一部分テンソルａ1に対応するレイヤ２Ｍ－１の畳み込み演算（図１１において、レイヤ２Ｍ－１（ａ1）で示す演算）を行う。その後、第一ＮＮ演算コア１０Ａの量子化演算回路５は、第一部分テンソルａ1に対応するレイヤ２Ｍの量子化演算（図１１において、レイヤ２Ｍ（ａ1）で示す演算）を行う。第一ＮＮ演算コア１０Ａの量子化演算回路５は、第一部分テンソルａ1に対応するレイヤ２Ｍの量子化演算出力データを第一ＮＮ演算コア１０Ａの第一メモリ１に格納する。
　第二ＤＭＡＣ９は、第一ＮＮ演算コア１０Ａの第一メモリ１に格納された第一部分テンソルａ1に対応するレイヤ２Ｍの量子化演算出力データを、共有メモリ８にＤＭＡ転送（図１１において、ＤＭＡ３で示す転送）する。
　第二ＮＮ演算コア１０Ｂの畳み込み演算回路４は、第二部分テンソルａ2に対応するレイヤ２Ｍ－１の畳み込み演算（図１１において、レイヤ２Ｍ－１（ａ2）で示す演算）を行う。第二ＮＮ演算コア１０Ｂの畳み込み演算回路４による畳み込み演算の開始は、第一ＮＮ演算コア１０Ａの畳み込み演算回路４による畳み込み演算の開始より遅い。その後、第二ＮＮ演算コア１０Ｂの量子化演算回路５は、第二部分テンソルａ２に対応するレイヤ２Ｍの量子化演算（図１１において、レイヤ２Ｍ（ａ２）で示す演算）を行う。第二ＮＮ演算コア１０Ｂの量子化演算回路５は、第二部分テンソルａ２に対応するレイヤ２Ｍの量子化演算出力データを第二ＮＮ演算コア１０Ｂの第一メモリ１に格納する。
　第二ＤＭＡＣ９は、第二ＮＮ演算コア１０Ｂの第一メモリ１に格納された第二部分テンソルａ2に対応するレイヤ２Ｍの量子化演算出力データを、共有メモリ８にＤＭＡ転送（図１１において、ＤＭＡ４で示す転送）する。
　例えば、レイヤ２Ｍ－１の畳み込み演算において入力データａがｃ軸方向のチャンネル数が３２チャンネルであり、レイヤ２Ｍ＋１の畳み込み演算において入力データａがｃ軸方向のチャンネル数が６４チャンネルであるような場合、レイヤ２Ｍ＋１の畳み込み演算において畳み込み演算回路４等を効率的に使用するために、部分テンソルの分割態様を変更することが望ましい。たとえば、各ＮＮ演算コア１０がｃ軸方向のチャンネル数が３２チャンネルの入力データａを並列演算できるように最適化されており、入力データａのｃ軸方向のチャンネル数が６４チャンネルであるレイヤ２Ｍ＋１の畳み込み演算を実施する場合を想定する。この場合、ＮＮ演算コア１０Ａの畳み込み演算回路４が０から３１チャンネルまでの入力データａの演算を実施し、ＮＮ演算コア１０Ｂの畳み込み演算回路４が３２から６３チャンネルまでの入力データａの演算を実施するように、入力データａから部分テンソルへの分割態様を変更してもよい。再分割された部分テンソルのうちの二つを「第三部分テンソルａ３」と「第四部分テンソルａ４」という。
　第二ＤＭＡＣ９は、第一ＮＮ演算コア１０Ａの第一メモリ１に第三部分テンソルａ３をＤＭＡ転送（図１１において、ＤＭＡ５で示す転送）する。つぎに、第二ＤＭＡＣ９は、第二ＮＮ演算コア１０Ｂの第一メモリ１に第四部分テンソルａ４をＤＭＡ転送（図１１において、ＤＭＡ６で示す転送）する。
　第一ＮＮ演算コア１０Ａの畳み込み演算回路４は、第三部分テンソルａ３に対応するレイヤ２Ｍ＋１の畳み込み演算（図１１において、レイヤ２Ｍ＋１（ａ３）で示す演算）を行う。その後、第一ＮＮ演算コア１０Ａの量子化演算回路５は、第三部分テンソルａ３に対応するレイヤ２Ｍ＋２の量子化演算（図１１において、レイヤ２Ｍ＋２（ａ３）で示す演算）を行う。第一ＮＮ演算コア１０Ａの量子化演算回路５は、第三部分テンソルａ３に対応するレイヤ２Ｍ＋２の量子化演算出力データを第一ＮＮ演算コア１０Ａの第一メモリ１に格納する。
　第二ＮＮ演算コア１０Ｂの畳み込み演算回路４は、第四部分テンソルａ４に対応するレイヤ２Ｍ＋１の畳み込み演算（図１１において、レイヤ２Ｍ＋１（ａ４）で示す演算）を行う。その後、第二ＮＮ演算コア１０Ｂの量子化演算回路５は、第四部分テンソルａ４に対応するレイヤ２Ｍ＋２の量子化演算（図１１において、レイヤ２Ｍ＋２（ａ４）で示す演算）を行う。第二ＮＮ演算コア１０Ｂの量子化演算回路５は、第四部分テンソルａ４に対応するレイヤ２Ｍ＋２の量子化演算出力データを第二ＮＮ演算コア１０Ｂの第一メモリ１に格納する。
　入力データａの特徴が変わった場合（例えば畳み込み演算においてチャンネル数が増える等）であっても、ＮＮ回路１００は、第二ＤＭＡＣ９と共有メモリ８と用いて、ＮＮ演算コア１０に割り当てる部分テンソルの分割態様を変更することができる。ＮＮ回路１００は、部分テンソルの分割態様を変更する場合あっても、第一ＤＭＡＣ３を用いて外部メモリ１２０に入力データａをＤＭＡ転送により退避させる回数を削減できる。
　次に、ＮＮ回路１００の各構成に関して詳しく説明する。
［第一ＤＭＡＣ３］
　図１２は、第一ＤＭＡＣ３の内部ブロック図である。
　第一ＤＭＡＣ３は、データ転送回路３１と、ステートコントローラ３２と、を有する。第一ＤＭＡＣ３は、データ転送回路３１に対する専用のステートコントローラ３２を有しており、命令コマンドが入力されると、外部のコントローラを必要とせずにＤＭＡデータ転送を実施できる。
　データ転送回路３１は、外部バスＥＢに接続されており、ＤＲＡＭなどの外部メモリ１２０とＮＮ演算コア１０との間のＤＭＡデータ転送を行う。また、データ転送回路３１は、ＤＲＡＭなどの外部メモリ１２０と共有メモリ８との間のＤＭＡデータ転送を行う。データ転送回路３１のＤＭＡチャンネル数は限定されない。例えば、第一ＮＮ演算コア１０Ａと第二ＮＮ演算コア１０Ｂのそれぞれに専用のＤＭＡチャンネルを有していてもよい。
　ステートコントローラ３２は、データ転送回路３１のステートを制御する。また、ステートコントローラ３２は、内部バスＩＢを介してコントローラ６と接続されている。ステートコントローラ３２は、命令キュー３３と制御回路３４とを有する。
　命令キュー３３は、第一ＤＭＡＣ３用の命令コマンドＣ３が格納されるキューであり、例えばＦＩＦＯメモリで構成される。命令キュー３３には、ＩＦＵ７経由または内部バスＩＢ経由で１つ以上の命令コマンドＣ３が書き込まれる。
　制御回路３４は、命令コマンドＣ３をデコードし、命令コマンドＣ３に基づいて順次データ転送回路３１を制御するステートマシンである。制御回路３４は、論理回路により実装されていてもよいし、ソフトウェアによって制御されるＣＰＵによって実装されていてもよい。
　図１３は、制御回路３４のステート遷移図である。
　制御回路３４は、命令キュー３３に命令コマンドＣ３が入力されると（Ｎｏｔ　ｅｍｐｔｙ）、アイドルステートＳＴ１からデコードステートＳＴ２に遷移する。
　制御回路３４は、デコードステートＳＴ２において、命令キュー３３から出力される命令コマンドＣ３をデコードする。また、制御回路３４は、コントローラ６のレジスタ６１に格納されたセマフォＳを読み出し、命令コマンドＣ３において指示されたデータ転送回路３１の動作を実行可能であるかを判定する。実行不能である場合（Ｎｏｔ　ｒｅａｄｙ）、制御回路３４は実行可能となるまで待つ（Ｗａｉｔ）。実行可能である場合（ｒｅａｄｙ）、制御回路３４はデコードステートＳＴ２から実行ステートＳＴ３に遷移する。
　制御回路３４は、実行ステートＳＴ３において、データ転送回路３１を制御して、データ転送回路３１に命令コマンドＣ３において指示された動作を実施させる。制御回路３４は、データ転送回路３１の動作が終わると、命令キュー３３から実行を終えた命令コマンドＣ３を取り除くとともに、コントローラ６のレジスタ６１に格納されたセマフォＳを更新する。制御回路３４は、命令キュー３３に命令がある場合（Ｎｏｔ　ｅｍｐｔｙ）、実行ステートＳＴ３からデコードステートＳＴ２に遷移する。制御回路３４は、命令キュー３３に命令がない場合（ｅｍｐｔｙ）、実行ステートＳＴ３からアイドルステートＳＴ１に遷移する。
［畳み込み演算回路４］
　図１４は、畳み込み演算回路４の内部ブロック図である。
　畳み込み演算回路４は、重みメモリ４１と、乗算器４２と、アキュムレータ回路４３と、ステートコントローラ４４と、を有する。畳み込み演算回路４は、乗算器４２およびアキュムレータ回路４３に対する専用のステートコントローラ４４を有しており、命令コマンドが入力されると、外部のコントローラを必要とせずに畳み込み演算を実施できる。
　重みメモリ４１は、畳み込み演算に用いる重みｗが格納されるメモリであり、例えばＳＲＡＭ（Ｓｔａｔｉｃ　ＲＡＭ）などで構成された揮発性のメモリ等の書き換え可能なメモリである。第一ＤＭＡＣ３は、ＤＭＡ転送により、畳み込み演算に必要な重みｗを重みメモリ４１に書き込む。
　図１５は、乗算器４２の内部ブロック図である。
　乗算器４２は、入力ベクトルＡと重みマトリクスＷとを乗算する。入力ベクトルＡは、上述したように、分割入力データａ（ｘ＋ｉ、ｙ＋ｊ、ｃｏ）がｉ、ｊごとに展開されたＢｃ個の要素を持つベクトルデータである。また、重みマトリクスＷは、分割重みｗ（ｉ，ｊ，ｃｏ、ｄｏ）がｉ、ｊごとに展開されたＢｃ×Ｂｄ個の要素を持つマトリクスデータである。乗算器４２は、Ｂｃ×Ｂｄ個の積和演算ユニット４７を有し、入力ベクトルＡと重みマトリクスＷとを乗算を並列して実施できる。
　乗算器４２は、乗算に必要な入力ベクトルＡと重みマトリクスＷを、第一メモリ１および重みメモリ４１から読み出して乗算を実施する。乗算器４２は、Ｂｄ個の積和演算結果Ｏ（ｄｉ）を出力する。
　図１６は、積和演算ユニット４７の内部ブロック図である。
　積和演算ユニット４７は、入力ベクトルＡの要素Ａ（ｃｉ）と、重みマトリクスＷの要素Ｗ（ｃｉ，ｄｉ）との乗算を実施する。また、積和演算ユニット４７は、乗算結果と他の積和演算ユニット４７の乗算結果Ｓ（ｃｉ，ｄｉ）と加算する。積和演算ユニット４７は、加算結果Ｓ（ｃｉ＋１，ｄｉ）を出力する。要素Ａ（ｃｉ）は、２ビットの符号なし整数（０，１，２，３）である。要素Ｗ（ｃｉ，ｄｉ）は、１ビットの符号付整数（０，１）であり、値「０」は＋１を表し、値「１」は－１を表す。
　積和演算ユニット４７は、反転器（インバータ）４７ａと、セレクタ４７ｂと、加算器４７ｃと、を有する。積和演算ユニット４７は、乗算器を用いず、反転器４７ａおよびセレクタ４７ｂのみを用いて乗算を行う。セレクタ４７ｂは、要素Ｗ（ｃｉ，ｄｉ）が「０」の場合、要素Ａ（ｃｉ）の入力を選択する。セレクタ４７ｂは、要素Ｗ（ｃｉ，ｄｉ）が「１」の場合、要素Ａ（ｃｉ）を反転器により反転させた補数を選択する。要素Ｗ（ｃｉ，ｄｉ）は、加算器４７ｃのＣａｒｒｙ－ｉｎにも入力される。加算器４７ｃは、要素Ｗ（ｃｉ，ｄｉ）が「０」のとき、Ｓ（ｃｉ，ｄｉ）に要素Ａ（ｃｉ）を加算した値を出力する。加算器４７ｃは、Ｗ（ｃｉ，ｄｉ）が「１」のとき、Ｓ（ｃｉ，ｄｉ）から要素Ａ（ｃｉ）を減算した値を出力する。
　図１７は、アキュムレータ回路４３の内部ブロック図である。
　アキュムレータ回路４３は、乗算器４２の積和演算結果Ｏ（ｄｉ）を第二メモリ２にアキュムレートする。アキュムレータ回路４３は、Ｂｄ個のアキュムレータユニット４８を有し、Ｂｄ個の積和演算結果Ｏ（ｄｉ）を並列して第二メモリ２にアキュムレートできる。
　図１８は、アキュムレータユニット４８の内部ブロック図である。
　アキュムレータユニット４８は、加算器４８ａと、マスク部４８ｂとを有している。加算器４８ａは、積和演算結果Ｏの要素Ｏ（ｄｉ）と、第二メモリ２に格納された式１に示す畳み込み演算の途中経過である部分和と、を加算する。加算結果は、要素あたり１６ビットである。加算結果は、要素あたり１６ビットに限定されず、例えば要素あたり１５ビットや１７ビットであってもよい。
　加算器４８ａは、加算結果を第二メモリ２の同一アドレスに書き込む。マスク部４８ｂは、初期化信号ｃｌｅａｒがアサートされた場合に、第二メモリ２からの出力をマスクし、要素Ｏ（ｄｉ）に対する加算対象をゼロにする。初期化信号ｃｌｅａｒは、第二メモリ２に途中経過の部分和が格納されていない場合にアサートされる。
　乗算器４２およびアキュムレータ回路４３による畳み込み演算が完了すると、第二メモリ２に、出力データｆ（ｘ，ｙ，ｄｏ）が格納される。
　ステートコントローラ４４は、乗算器４２およびアキュムレータ回路４３のステートを制御する。また、ステートコントローラ４４は、内部バスＩＢを介してコントローラ６と接続されている。ステートコントローラ４４は、命令キュー４５と制御回路４６とを有する。
　命令キュー４５は、畳み込み演算回路４用の命令コマンドＣ４が格納されるキューであり、例えばＦＩＦＯメモリで構成される。命令キュー４５には、ＩＦＵ７経由または内部バスＩＢ経由で命令コマンドＣ４が書き込まれる。
　制御回路４６は、命令コマンドＣ４をデコードし、命令コマンドＣ４に基づいて乗算器４２およびアキュムレータ回路４３を制御するステートマシンである。制御回路４６は、第一ＤＭＡＣ３のステートコントローラ３２の制御回路３４と同様の構成である。
［量子化演算回路５］
　図１９は、量子化演算回路５の内部ブロック図である。
　量子化演算回路５は、量子化パラメータメモリ５１と、ベクトル演算回路５２と、量子化回路５３と、ステートコントローラ５４と、を有する。量子化演算回路５は、ベクトル演算回路５２および量子化回路５３に対する専用のステートコントローラ５４を有しており、命令コマンドが入力されると、外部のコントローラを必要とせずに量子化演算を実施できる。
　量子化パラメータメモリ５１は、量子化演算に用いる量子化パラメータｑが格納されるメモリであり、例えばＳＲＡＭ（Ｓｔａｔｉｃ　ＲＡＭ）などで構成された揮発性のメモリ等の書き換え可能なメモリである。第一ＤＭＡＣ３は、ＤＭＡ転送により、量子化演算に必要な量子化パラメータｑを量子化パラメータメモリ５１に書き込む。
　図２０は、ベクトル演算回路５２と量子化回路５３の内部ブロック図である。
　ベクトル演算回路５２は、第二メモリ２に格納された出力データｆ（ｘ，ｙ，ｄｏ）に対して演算を行う。ベクトル演算回路５２は、Ｂｄ個の演算ユニット５７を有し、出力データｆ（ｘ，ｙ，ｄｏ）に対して並列にＳＩＭＤ演算を行う。
　図２１は、演算ユニット５７のブロック図である。
　演算ユニット５７は、例えば、ＡＬＵ５７ａと、第一セレクタ５７ｂと、第二セレクタ５７ｃと、レジスタ５７ｄと、シフタ５７ｅと、を有する。演算ユニット５７は、公知の汎用ＳＩＭＤ演算回路が有する他の演算器等をさらに有してもよい。
　ベクトル演算回路５２は、演算ユニット５７が有する演算器等を組み合わせることで、出力データｆ（ｘ，ｙ，ｄｏ）に対して、量子化演算層２２０におけるプーリング層２２１や、Ｂａｔｃｈ　Ｎｏｒｍａｌｉｚａｔｉｏｎ層２２２や、活性化関数層２２３の演算のうち少なくとも一つの演算を行う。
　演算ユニット５７は、レジスタ５７ｄに格納されたデータと第二メモリ２から読み出した出力データｆ（ｘ，ｙ，ｄｏ）の要素ｆ（ｄｉ）とをＡＬＵ５７ａにより加算できる。演算ユニット５７は、ＡＬＵ５７ａによる加算結果をレジスタ５７ｄに格納できる。演算ユニット５７は、第一セレクタ５７ｂの選択によりレジスタ５７ｄに格納されたデータに代えて「０」をＡＬＵ５７ａに入力することで加算結果を初期化できる。例えばプーリング領域が２×２である場合、シフタ５７ｅはＡＬＵ５７ａの出力を２ｂｉｔ右シフトすることで加算結果の平均値を出力できる。ベクトル演算回路５２は、Ｂｄ個の演算ユニット５７による上記の演算等を繰り返すことで、式２に示す平均プーリングの演算を実施できる。
　演算ユニット５７は、レジスタ５７ｄに格納されたデータと第二メモリ２から読み出した出力データｆ（ｘ，ｙ，ｄｏ）の要素ｆ（ｄｉ）とをＡＬＵ５７ａにより比較できる。
演算ユニット５７は、ＡＬＵ５７ａによる比較結果に応じて第二セレクタ５７ｃを制御して、レジスタ５７ｄに格納されたデータと要素ｆ（ｄｉ）の大きい方を選択できる。演算ユニット５７は、第一セレクタ５７ｂの選択により要素ｆ（ｄｉ）の取りうる値の最小値をＡＬＵ５７ａに入力することで比較対象を最小値に初期化できる。本実施形態において要素ｆ（ｄｉ）は１６ｂｉｔ符号付き整数であるので、要素ｆ（ｄｉ）の取りうる値の最小値は「０ｘ８０００」である。ベクトル演算回路５２は、Ｂｄ個の演算ユニット５７による上記の演算等を繰り返すことで、式３のＭＡＸプーリングの演算を実施できる。なお、ＭＡＸプーリングの演算ではシフタ５７ｅは第二セレクタ５７ｃの出力をシフトしない。
　演算ユニット５７は、レジスタ５７ｄに格納されたデータと第二メモリ２から読み出した出力データｆ（ｘ，ｙ，ｄｏ）の要素ｆ（ｄｉ）とをＡＬＵ５７ａにより減算できる。シフタ５７ｅはＡＬＵ５７ａの出力を左シフト（すなわち乗算）もしくは右シフト（すなわち除算）できる。ベクトル演算回路５２は、Ｂｄ個の演算ユニット５７による上記の演算等を繰り返すことで、式４のＢａｔｃｈ　Ｎｏｒｍａｌｉｚａｔｉｏｎの演算を実施できる。
　演算ユニット５７は、第二メモリ２から読み出した出力データｆ（ｘ，ｙ，ｄｏ）の要素ｆ（ｄｉ）と第一セレクタ５７ｂにより選択された「０」とをＡＬＵ５７ａにより比較できる。演算ユニット５７は、ＡＬＵ５７ａによる比較結果に応じて要素ｆ（ｄｉ）と予めレジスタ５７ｄに格納された定数値「０」のいずれかを選択して出力できる。ベクトル演算回路５２は、Ｂｄ個の演算ユニット５７による上記の演算等を繰り返すことで、式５のＲｅＬＵ演算を実施できる。
　ベクトル演算回路５２は、平均プーリング、ＭＡＸプーリング、Ｂａｔｃｈ　Ｎｏｒｍａｌｉｚａｔｉｏｎ、活性化関数の演算およびこれらの演算の組み合わせを実施できる。ベクトル演算回路５２は、汎用ＳＩＭＤ演算を実施できるため、量子化演算層２２０における演算に必要な他の演算を実施してもよい。また、ベクトル演算回路５２は、量子化演算層２２０における演算以外の演算を実施してもよい。
　なお、量子化演算回路５は、ベクトル演算回路５２を有してなくてもよい。量子化演算回路５がベクトル演算回路５２を有していない場合、出力データｆ（ｘ，ｙ，ｄｏ）は量子化回路５３に入力される。
　量子化回路５３は、ベクトル演算回路５２の出力データに対して、量子化を行う。量子化回路５３は、図２０に示すように、Ｂｄ個の量子化ユニット５８を有し、ベクトル演算回路５２の出力データに対して並列に演算を行う。
　図２２は、量子化ユニット５８の内部ブロック図である。
　量子化ユニット５８は、ベクトル演算回路５２の出力データの要素ｉｎ（ｄｉ）に対して量子化を行う。量子化ユニット５８は、比較器５８ａと、エンコーダ５８ｂと、を有する。量子化ユニット５８はベクトル演算回路５２の出力データ（１６ビット／要素）に対して、量子化演算層２２０における量子化層２２４の演算（式６）を行う。量子化ユニット５８は、量子化パラメータメモリ５１から必要な量子化パラメータｑ（ｔｈ０，ｔｈ１，ｔｈ２）を読み出し、比較器５８ａにより入力ｉｎ（ｄｉ）と量子化パラメータｑとの比較を行う。量子化ユニット５８は、比較器５８ａによる比較結果をエンコーダ５８ｂにより２ビット／要素に量子化する。式４におけるα(c)とβ(c)は、変数ｃごとに異なるパラメータであるため、α(c)とβ(c)を反映する量子化パラメータｑ（ｔｈ０，ｔｈ１，ｔｈ２）はｉｎ（ｄｉ）ごとに異なるパラメータである。
　量子化ユニット５８は、入力ｉｎ（ｄｉ）を３つの閾値ｔｈ０，ｔｈ１，ｔｈ２と比較することにより、入力ｉｎ（ｄｉ）を４領域（例えば、ｉｎ≦ｔｈ０，ｔｈ０＜ｉｎ≦ｔｈ１，ｔｈ１＜ｉｎ≦ｔｈ２，ｔｈ２＜ｉｎ）に分類し、分類結果を２ビットにエンコードして出力する。量子化ユニット５８は、量子化パラメータｑ（ｔｈ０，ｔｈ１，ｔｈ２）の設定により、量子化と併せてＢａｔｃｈ　Ｎｏｒｍａｌｉｚａｔｉｏｎや活性化関数の演算を行うこともできる。
　量子化ユニット５８は、閾値ｔｈ０を式４のβ(ｃ)、閾値の差（ｔｈ１―ｔｈ０）および（ｔｈ２―ｔｈ１）を式４のα(ｃ)として設定して量子化を行うことで、式４に示すＢａｔｃｈ　Ｎｏｒｍａｌｉｚａｔｉｏｎの演算を量子化と併せて実施できる。（ｔｈ１―ｔｈ０）および（ｔｈ２―ｔｈ１）を大きくすることでα(ｃ)を小さくできる。（ｔｈ１―ｔｈ０）および（ｔｈ２―ｔｈ１）を小さくすることで、α(c)を大きくできる。
　量子化ユニット５８は、入力ｉｎ（ｄｉ）の量子化と併せて活性化関数を実施できる。例えば、量子化ユニット５８は、ｉｎ（ｄｉ）≦ｔｈ０およびｔｈ２＜ｉｎ（ｄｉ）となる領域では出力値を飽和させる。量子化ユニット５８は、出力が非線形とするように量子化パラメータｑを設定することで活性化関数の演算を量子化と併せて実施できる。
　ステートコントローラ５４は、ベクトル演算回路５２および量子化回路５３のステートを制御する。また、ステートコントローラ５４は、内部バスＩＢを介してコントローラ６と接続されている。ステートコントローラ５４は、命令キュー５５と制御回路５６とを有する。
　命令キュー５５は、量子化演算回路５用の命令コマンドＣ５が格納されるキューであり、例えばＦＩＦＯメモリで構成される。命令キュー５５には、ＩＦＵ７経由または内部バスＩＢ経由で命令コマンドＣ５が書き込まれる。
　制御回路５６は、命令コマンドＣ５をデコードし、命令コマンドＣ５に基づいてベクトル演算回路５２および量子化回路５３を制御するステートマシンである。制御回路５６は、第一ＤＭＡＣ３のステートコントローラ３２の制御回路３４と同様の構成である。
　量子化演算回路５は、Ｂｄ個の要素を持つ量子化演算出力データを第一メモリ１に書き込む。なお、ＢｄとＢｃの好適な関係を式１０に示す。式１０においてｎは整数である。
Figure JPOXMLDOC01-appb-M000010
［コントローラ６］
　コントローラ６は、外部ホストＣＰＵ１１０から転送される命令コマンドを、内部バスＩＢを介して、第一ＤＭＡＣ３、第二ＤＭＡＣ９、畳み込み演算回路４および量子化演算回路５が有する命令キューに転送する。コントローラ６は、各回路に対する命令コマンドを格納する命令メモリを有してもよい。
　コントローラ６は、外部バスＥＢに接続されており、外部ホストＣＰＵ１１０のスレーブとして動作する。コントローラ６は、パラメータレジスタや状態レジスタを含むレジスタ６１を有している。パラメータレジスタは、ＮＮ回路１００の動作を制御するレジスタである。状態レジスタは、セマフォＳを含むＮＮ回路１００の状態を示すレジスタである。
［セマフォＳ］
　セマフォＳは、Ｐ操作によりデクリメントされ、Ｖ操作によってインクリメントされる。第一ＤＭＡＣ３、畳み込み演算回路４および量子化演算回路５によるＰ操作およびＶ操作は、内部バスＩＢを経由して、コントローラ６が有するセマフォＳを更新する。
　図２３は、セマフォＳによるＮＮ回路１００の制御を説明する図である。
　セマフォＳは、ＮＮ回路１００におけるメモリ（第一メモリ１、第二メモリ２）を介したデータフローＦごとに設けられる。図２３および以降の説明において、説明を簡略化するため、第二ＤＭＡＣ９に関連するデータフローに関するセマフォは省略されている。なお、本実施形態におけるＮＮ回路１００は、複数のＮＮ演算コア１０を含むため、複数のデータフローが存在する。いずれのデータフローを用いてＣＮＮ２００に関する演算を実行するかは、対応する命令コマンドによって制御される。
［第一ＮＮ演算コア１０Ａに関するセマフォＳ］
　セマフォＳは、第一ＮＮ演算コア１０Ａに関して、第一セマフォＳ１１と、第二セマフォＳ１２と、第三セマフォＳ１３と、第四セマフォＳ１４と、を有する。
　第一セマフォＳ１１は、第一ＮＮ演算コア１０Ａの第一データフローＦ１１の制御に用いられる。第一データフローＦ１１は、第一ＤＭＡＣ３（Ｐｒｏｄｕｃｅｒ）が第一ＮＮ演算コア１０Ａの第一メモリ１に入力データａを書き込み、第一ＮＮ演算コア１０Ａの畳み込み演算回路４（Ｃｏｎｓｕｍｅｒ）が入力データａを読み出すデータフローである。第一セマフォＳ１１は、第一ライトセマフォＳ１１Ｗと、第一リードセマフォＳ１１Ｒと、を有する。
　第二セマフォＳ１２は、第一ＮＮ演算コア１０Ａの第二データフローＦ１２の制御に用いられる。第二データフローＦ１２は、第一ＮＮ演算コア１０Ａの畳み込み演算回路４（Ｐｒｏｄｕｃｅｒ）が出力データｆを第一ＮＮ演算コア１０Ａの第二メモリ２に書き込み、第一ＮＮ演算コア１０Ａの量子化演算回路５（Ｃｏｎｓｕｍｅｒ）が出力データｆを読み出すデータフローである。第二セマフォＳ１２は、第二ライトセマフォＳ１２Ｗと、第二リードセマフォＳ１２Ｒと、を有する。
　第三セマフォＳ１３は、第一ＮＮ演算コア１０Ａの第三データフローＦ１３の制御に用いられる。第三データフローＦ１３は、第一ＮＮ演算コア１０Ａの量子化演算回路５（Ｐｒｏｄｕｃｅｒ）が量子化演算出力データを第一ＮＮ演算コア１０Ａの第一メモリ１に書き込み、第一ＮＮ演算コア１０Ａの畳み込み演算回路４（Ｃｏｎｓｕｍｅｒ）が量子化演算出力データを読み出すデータフローである。第三セマフォＳ１３は、第三ライトセマフォＳ１３Ｗと、第三リードセマフォＳ１３Ｒと、を有する。
　第四セマフォＳ１４は、第一ＮＮ演算コア１０Ａの第四データフローＦ１４の制御に用いられる。第四データフローＦ１４は、第二ＮＮ演算コア１０Ｂの量子化演算回路５（Ｐｒｏｄｕｃｅｒ）が量子化演算出力データを第一ＮＮ演算コア１０Ａの第一メモリ１に書き込み、第一ＮＮ演算コア１０Ａの畳み込み演算回路４（Ｃｏｎｓｕｍｅｒ）が量子化演算出力データを読み出すデータフローである。第四セマフォＳ１４は、第四ライトセマフォＳ１４Ｗと、第四リードセマフォＳ１４Ｒと、を有する。
［第二ＮＮ演算コア１０Ｂに関するセマフォＳ］
　セマフォＳは、第二ＮＮ演算コア１０Ｂに関して、第一セマフォＳ２１と、第二セマフォＳ２２と、第三セマフォＳ２３と、第四セマフォＳ２４と、を有する。
　第一セマフォＳ２１は、第二ＮＮ演算コア１０Ｂの第一データフローＦ２１の制御に用いられる。第一データフローＦ２１は、第一ＤＭＡＣ３（Ｐｒｏｄｕｃｅｒ）が第二ＮＮ演算コア１０Ｂの第一メモリ１に入力データａを書き込み、第二ＮＮ演算コア１０Ｂの畳み込み演算回路４（Ｃｏｎｓｕｍｅｒ）が入力データａを読み出すデータフローである。第一セマフォＳ２１は、第一ライトセマフォＳ２１Ｗと、第一リードセマフォＳ２１Ｒと、を有する。
　第二セマフォＳ２２は、第二ＮＮ演算コア１０Ｂの第二データフローＦ２２の制御に用いられる。第二データフローＦ２２は、第二ＮＮ演算コア１０Ｂの畳み込み演算回路４（Ｐｒｏｄｕｃｅｒ）が出力データｆを第二ＮＮ演算コア１０Ｂの第二メモリ２に書き込み、第二ＮＮ演算コア１０Ｂの量子化演算回路５（Ｃｏｎｓｕｍｅｒ）が出力データｆを読み出すデータフローである。第二セマフォＳ２２は、第二ライトセマフォＳ２２Ｗと、第二リードセマフォＳ２２Ｒと、を有する。
　第三セマフォＳ２３は、第二ＮＮ演算コア１０Ｂの第三データフローＦ２３の制御に用いられる。第三データフローＦ２３は、第二ＮＮ演算コア１０Ｂの量子化演算回路５（Ｐｒｏｄｕｃｅｒ）が量子化演算出力データを第二ＮＮ演算コア１０Ｂの第一メモリ１に書き込み、第二ＮＮ演算コア１０Ｂの畳み込み演算回路４（Ｃｏｎｓｕｍｅｒ）が量子化演算出力データを読み出すデータフローである。第三セマフォＳ２３は、第三ライトセマフォＳ２３Ｗと、第三リードセマフォＳ２３Ｒと、を有する。
　第四セマフォＳ２４は、第二ＮＮ演算コア１０Ｂの第四データフローＦ２４の制御に用いられる。第四データフローＦ２４は、第一ＮＮ演算コア１０Ａの量子化演算回路５（Ｐｒｏｄｕｃｅｒ）が量子化演算出力データを第二ＮＮ演算コア１０Ｂの第一メモリ１に書き込み、第二ＮＮ演算コア１０Ｂの畳み込み演算回路４（Ｃｏｎｓｕｍｅｒ）が量子化演算出力データを読み出すデータフローである。第四セマフォＳ２４は、第四ライトセマフォＳ２４Ｗと、第四リードセマフォＳ２４Ｒと、を有する。
［第一ＮＮ演算コア１０Ａの第一データフローＦ１１］
　図２４は、第一データフローＦ１１のタイミングチャートである。
　第一ライトセマフォＳ１１Ｗは、第一ＮＮ演算コア１０Ａの第一データフローＦ１１における第一ＤＭＡＣ３による第一ＮＮ演算コア１０Ａの第一メモリ１に対する書き込みを制限するセマフォである。第一ライトセマフォＳ１１Ｗは、第一メモリ１において、例えば入力ベクトルＡなどの所定のサイズのデータを格納可能なメモリ領域のうち、データが読み出し済みで他のデータを書き込み可能なメモリ領域の数を示している。第一ライトセマフォＳ１１Ｗが「０」の場合、第一ＤＭＡＣ３は第一メモリ１に対して第一データフローＦ１１における書き込みを行えず、第一ライトセマフォＳ１１Ｗが「１」以上となるまで待たされる。
　第一リードセマフォＳ１１Ｒは、第一ＮＮ演算コア１０Ａの第一データフローＦ１における第一ＮＮ演算コア１０Ａの畳み込み演算回路４による第一ＮＮ演算コア１０Ａの第一メモリ１からの読み出しを制限するセマフォである。第一リードセマフォＳ１１Ｒは、第一メモリ１において、例えば入力ベクトルＡなどの所定のサイズのデータを格納可能なメモリ領域のうち、データが書き込み済みで読み出し可能なメモリ領域の数を示している。第一リードセマフォＳ１１Ｒが「０」の場合、畳み込み演算回路４は第一メモリ１からの第一データフローＦ１１における読み出しを行えず、第一リードセマフォＳ１１Ｒが「１」以上となるまで待たされる。
　第一ＤＭＡＣ３は、命令キュー３３に命令コマンドＣ３が格納されることにより、ＤＭＡ転送を開始する。図２４に示すように、第一ライトセマフォＳ１１Ｗが「０」でないため、第一ＤＭＡＣ３はＤＭＡ転送を開始する（ＤＭＡ転送１）。第一ＤＭＡＣ３は、ＤＭＡ転送を開始する際に、第一ライトセマフォＳ１１Ｗに対してＰ操作を行う。第一ＤＭＡＣ３は、ＤＭＡ転送の完了後に、第一リードセマフォＳ１１Ｒに対してＶ操作を行う。
　第一ＮＮ演算コア１０Ａの畳み込み演算回路４は、命令キュー４５に命令コマンドＣ４が格納されることにより、畳み込み演算を開始する。図２４に示すように、第一リードセマフォＳ１１Ｒが「０」であるため、畳み込み演算回路４は第一リードセマフォＳ１１Ｒが「１」以上となるまで待たされる（デコードステートＳＴ２におけるＷａｉｔ）。第一ＤＭＡＣ３によるＶ操作により第一リードセマフォＳ１１Ｒが「１」となると、畳み込み演算回路４は畳み込み演算を開始する（畳み込み演算１）。畳み込み演算回路４は、畳み込み演算を開始する際、第一リードセマフォＳ１１Ｒに対してＰ操作を行う。畳み込み演算回路４は、畳み込み演算の完了後に、第一ライトセマフォＳ１１Ｗに対してＶ操作を行う。
　図２４において「ＤＭＡ転送３」と記載されたＤＭＡ転送を第一ＤＭＡＣ３が開始する際、第一ライトセマフォＳ１１Ｗが「０」であるため、第一ＤＭＡＣ３は第一ライトセマフォＳ１１Ｗが「１」以上となるまで待たされる（デコードステートＳＴ２におけるＷａｉｔ）。畳み込み演算回路４によるＶ操作により第一ライトセマフォＳ１１Ｗが「１」以上となると、第一ＤＭＡＣ３はＤＭＡ転送を開始する。
　第一ＤＭＡＣ３と第一ＮＮ演算コア１０Ａの畳み込み演算回路４とは、第一セマフォＳ１１を使用することで、第一データフローＦ１１において第一メモリ１に対するアクセス競合を防止できる。また、第一ＤＭＡＣ３と第一ＮＮ演算コア１０Ａの畳み込み演算回路４とは、第一セマフォＳ１１を使用することで、第一ＮＮ演算コア１０Ａの第一データフローＦ１１におけるデータ転送の同期を取りつつ、独立して並列に動作できる。
［第一ＮＮ演算コア１０Ａの第二データフローＦ１２］
　図２５は、第二データフローＦ１２のタイミングチャートである。
　第二ライトセマフォＳ１２Ｗは、第一ＮＮ演算コア１０Ａの第二データフローＦ１２における第一ＮＮ演算コア１０Ａの畳み込み演算回路４による第一ＮＮ演算コア１０Ａの第二メモリ２に対する書き込みを制限するセマフォである。第二ライトセマフォＳ１２Ｗは、第二メモリ２において、例えば出力データｆなどの所定のサイズのデータを格納可能なメモリ領域のうち、データが読み出し済みで他のデータを書き込み可能なメモリ領域の数を示している。第二ライトセマフォＳ１２Ｗが「０」の場合、畳み込み演算回路４は第二メモリ２に対して第二データフローＦ１２における書き込みを行えず、第二ライトセマフォＳ１２Ｗが「１」以上となるまで待たされる。
　第二リードセマフォＳ１２Ｒは、第一ＮＮ演算コア１０Ａの第二データフローＦ２における第一ＮＮ演算コア１０Ａの量子化演算回路５による第一ＮＮ演算コア１０Ａの第二メモリ２からの読み出しを制限するセマフォである。第二リードセマフォＳ１２Ｒは、第二メモリ２において、例えば出力データｆなどの所定のサイズのデータを格納可能なメモリ領域のうち、データが書き込み済みで読み出し可能なメモリ領域の数を示している。第二リードセマフォＳ１２Ｒが「０」の場合、量子化演算回路５は第二メモリ２からの第二データフローＦ１２における読み出しを行えず、第二リードセマフォＳ１２Ｒが「１」以上となるまで待たされる。
　第一ＮＮ演算コア１０Ａの畳み込み演算回路４は、図２５に示すように、畳み込み演算を開始する際、第二ライトセマフォＳ１２Ｗに対してＰ操作を行う。畳み込み演算回路４は、畳み込み演算の完了後に、第二リードセマフォＳ１２Ｒに対してＶ操作を行う。
　第一ＮＮ演算コア１０Ａの量子化演算回路５は、命令キュー５５に命令コマンドＣ５が格納されることにより、量子化演算を開始する。図２５に示すように、第二リードセマフォＳ１２Ｒが「０」であるため、量子化演算回路５は第二リードセマフォＳ１２Ｒが「１」以上となるまで待たされる（デコードステートＳＴ２におけるＷａｉｔ）。畳み込み演算回路４によるＶ操作により第二リードセマフォＳ１２Ｒが「１」となると、量子化演算回路５は量子化演算を開始する（量子化演算１）。量子化演算回路５は、量子化演算を開始する際、第二リードセマフォＳ１２Ｒに対してＰ操作を行う。量子化演算回路５は、量子化演算の完了後に、第二ライトセマフォＳ１２Ｗに対してＶ操作を行う。
　図２５において「量子化演算２」と記載された量子化演算を量子化演算回路５が開始する際、第二リードセマフォＳ１２Ｒが「０」であるため、量子化演算回路５は第二リードセマフォＳ１２Ｒが「１」以上となるまで待たされる（デコードステートＳＴ２におけるＷａｉｔ）。畳み込み演算回路４によるＶ操作により第二リードセマフォＳ１２Ｒが「１」以上となると、量子化演算回路５は量子化演算を開始する。
　第一ＮＮ演算コア１０Ａの畳み込み演算回路４と第一ＮＮ演算コア１０Ａの量子化演算回路５とは、第二セマフォＳ１２を使用することで、第二データフローＦ１２において第二メモリ２に対するアクセス競合を防止できる。また、第一ＮＮ演算コア１０Ａの畳み込み演算回路４と第一ＮＮ演算コア１０Ａの量子化演算回路５とは、第二セマフォＳ１２を使用することで、第二データフローＦ１２におけるデータ転送の同期を取りつつ、独立して並列に動作できる。
［第一ＮＮ演算コア１０Ａの第三データフローＦ１３］
　図２６は、第三データフローＦ１３のタイミングチャートである。
　第三ライトセマフォＳ１３Ｗは、第一ＮＮ演算コア１０Ａの第三データフローＦ１３における第一ＮＮ演算コア１０Ａの量子化演算回路５による第一ＮＮ演算コア１０Ａの第一メモリ１に対する書き込みを制限するセマフォである。第三ライトセマフォＳ１３Ｗは、第一メモリ１において、例えば量子化演算回路５の量子化演算出力データなどの所定のサイズのデータを格納可能なメモリ領域のうち、データが読み出し済みで他のデータを書き込み可能なメモリ領域の数を示している。第三ライトセマフォＳ１３Ｗが「０」の場合、量子化演算回路５は第一メモリ１に対して第三データフローＦ１３における書き込みを行えず、第三ライトセマフォＳ１３Ｗが「１」以上となるまで待たされる。
　第三リードセマフォＳ１３Ｒは、第一ＮＮ演算コア１０Ａの第三データフローＦ１３における第一ＮＮ演算コア１０Ａの畳み込み演算回路４による第一ＮＮ演算コア１０Ａの第一メモリ１からの読み出しを制限するセマフォである。第三リードセマフォＳ１３Ｒは、第一メモリ１において、例えば量子化演算回路５の量子化演算出力データなどの所定のサイズのデータを格納可能なメモリ領域のうち、データが書き込み済みで読み出し可能なメモリ領域の数を示している。第三リードセマフォＳ１３Ｒが「０」の場合、畳み込み演算回路４は第三データフローＦ１３における第一メモリ１からの読み出しを行えず、第三リードセマフォＳ１３Ｒが「１」以上となるまで待たされる。
　第一ＮＮ演算コア１０Ａの量子化演算回路５は、図２６に示すように、量子化演算を開始する際、第三ライトセマフォＳ１３Ｗに対してＰ操作を行う。量子化演算回路５は、畳み込み演算の完了後に、第三リードセマフォＳ１３Ｒに対してＶ操作を行う。
　第一ＮＮ演算コア１０Ａの畳み込み演算回路４は、命令キュー４５に命令コマンドＣ４が格納されることにより、畳み込み演算を開始する。図２６に示すように、第三リードセマフォＳ１３が「０」であるため、畳み込み演算回路４は第三リードセマフォＳ１３Ｒが「１」以上となるまで待たされる（デコードステートＳＴ２におけるＷａｉｔ）。量子化演算回路５によるＶ操作により第三リードセマフォＳ１３Ｒが「１」となると、畳み込み演算回路４は畳み込み演算を開始する（畳み込み演算５）。畳み込み演算回路４は、畳み込み演算を開始する際、第三リードセマフォＳ１３Ｒに対してＰ操作を行う。畳み込み演算回路４は、畳み込み演算の完了後に、第三ライトセマフォＳ１３Ｗに対してＶ操作を行う。
　図２６において「畳み込み演算７」と記載された畳み込み演算を畳み込み演算回路４が開始する際、第三リードセマフォＳ１３Ｒが「０」であるため、畳み込み演算回路４は第三リードセマフォＳ１３Ｒが「１」以上となるまで待たされる（デコードステートＳＴ２におけるＷａｉｔ）。量子化演算回路５によるＶ操作により第三リードセマフォＳ１３Ｒが「１」以上となると、畳み込み演算回路４は畳み込み演算を開始する。
　第一ＮＮ演算コア１０Ａの量子化演算回路５と第一ＮＮ演算コア１０Ａの畳み込み演算回路４とは、第三セマフォＳ１３を使用することで、第三データフローＦ１３において第一メモリ１に対するアクセス競合を防止できる。また、第一ＮＮ演算コア１０Ａの量子化演算回路５と第一ＮＮ演算コア１０Ａの畳み込み演算回路４とは、第三セマフォＳ１３を使用することで、第三データフローＦ１３におけるデータ転送の同期を取りつつ、独立して並列に動作できる。
［第一ＮＮ演算コア１０Ａの第四データフローＦ１４］
　図２７は、第四データフローＦ１４のタイミングチャートである。
　第四ライトセマフォＳ１４Ｗは、第一ＮＮ演算コア１０Ａの第四データフローＦ１４における第二ＮＮ演算コア１０Ｂの量子化演算回路５による第一ＮＮ演算コア１０Ａの第一メモリ１に対する書き込みを制限するセマフォである。第四ライトセマフォＳ１４Ｗは、第一メモリ１において、例えば量子化演算回路５の量子化演算出力データなどの所定のサイズのデータを格納可能なメモリ領域のうち、データが読み出し済みで他のデータを書き込み可能なメモリ領域の数を示している。第四ライトセマフォＳ１４Ｗが「０」の場合、量子化演算回路５は第一メモリ１に対して第四データフローＦ１４における書き込みを行えず、第四ライトセマフォＳ１４Ｗが「１」以上となるまで待たされる。
　第四リードセマフォＳ１４Ｒは、第一ＮＮ演算コア１０Ａの第四データフローＦ１４における第一ＮＮ演算コア１０Ａの畳み込み演算回路４による第一ＮＮ演算コア１０Ａの第一メモリ１からの読み出しを制限するセマフォである。第四リードセマフォＳ１４Ｒは、第一メモリ１において、例えば量子化演算回路５の量子化演算出力データなどの所定のサイズのデータを格納可能なメモリ領域のうち、データが書き込み済みで読み出し可能なメモリ領域の数を示している。第四リードセマフォＳ１４Ｒが「０」の場合、畳み込み演算回路４は第四データフローＦ１４における第一メモリ１からの読み出しを行えず、第四リードセマフォＳ１４Ｒが「１」以上となるまで待たされる。
　第二ＮＮ演算コア１０Ｂの量子化演算回路５は、図２７に示すように、量子化演算を開始する際、第四ライトセマフォＳ１４Ｗに対してＰ操作を行う。量子化演算回路５は、畳み込み演算の完了後に、第四リードセマフォＳ１４Ｒに対してＶ操作を行う。
　第一ＮＮ演算コア１０Ａの畳み込み演算回路４は、命令キュー４５に命令コマンドＣ４が格納されることにより、畳み込み演算を開始する。図２７に示すように、第四リードセマフォＳ１４Ｒが「０」であるため、畳み込み演算回路４は第四リードセマフォＳ１４Ｒが「１」以上となるまで待たされる（デコードステートＳＴ２におけるＷａｉｔ）。量子化演算回路５によるＶ操作により第四リードセマフォＳ１４Ｒが「１」となると、畳み込み演算回路４は畳み込み演算を開始する（畳み込み演算９）。畳み込み演算回路４は、畳み込み演算を開始する際、第四リードセマフォＳ１４Ｒに対してＰ操作を行う。畳み込み演算回路４は、畳み込み演算の完了後に、第四ライトセマフォＳ１４Ｗに対してＶ操作を行う。
　図２７において「畳み込み演算１０」と記載された畳み込み演算を畳み込み演算回路４が開始する際、第四リードセマフォＳ１４Ｒが「０」であるため、畳み込み演算回路４は第四リードセマフォＳ１４Ｒが「１」以上となるまで待たされる（デコードステートＳＴ２におけるＷａｉｔ）。量子化演算回路５によるＶ操作により第四リードセマフォＳ１４Ｒが「１」以上となると、畳み込み演算回路４は畳み込み演算を開始する。
　第二ＮＮ演算コア１０Ｂの量子化演算回路５と第一ＮＮ演算コア１０Ａの畳み込み演算回路４とは、第四セマフォＳ１４を使用することで、第四データフローＦ１４において第一メモリ１に対するアクセス競合を防止できる。また、第二ＮＮ演算コア１０Ｂの量子化演算回路５と第一ＮＮ演算コア１０Ａの畳み込み演算回路４とは、第四セマフォＳ１４を使用することで、第四データフローＦ１４における複数のＮＮ演算コア１０間のデータ転送の同期を取りつつ、独立して並列に動作できる。
　第一ＮＮ演算コア１０Ａの第一メモリ１は、３つのデータフロー（第一データフローＦ１１、第三データフローＦ１３および第四データフローＦ１４）において共有される。ＮＮ回路１００は、第一セマフォＳ１１と第三セマフォＳ１３と第四セマフォＳ１４とを別途設けることで、第一データフローＦ１１と第三データフローＦ１３と第四データフローＦ１４とを区別してデータ転送の同期を取ることができる。
［第二ＮＮ演算コア１０Ｂの第一データフローＦ２１］
　第二ＮＮ演算コア１０Ｂの第一データフローＦ２１は、第一ＮＮ演算コア１０Ａの第一データフローＦ１１と同等である。第一ＤＭＡＣ３と第二ＮＮ演算コア１０Ｂの畳み込み演算回路４とは、第一セマフォＳ２１を使用することで、第一データフローＦ２１において第一メモリ１に対するアクセス競合を防止できる。また、第一ＤＭＡＣ３と第二ＮＮ演算コア１０Ｂの畳み込み演算回路４とは、第一セマフォＳ２１を使用することで、第二ＮＮ演算コア１０Ｂの第一データフローＦ２１におけるデータ転送の同期を取りつつ、独立して並列に動作できる。
［第二ＮＮ演算コア１０Ｂの第二データフローＦ２２］
　第二ＮＮ演算コア１０Ｂの第二データフローＦ２２は、第一ＮＮ演算コア１０Ａの第二データフローＦ１２と同等である。第二ＮＮ演算コア１０Ｂの畳み込み演算回路４と第二ＮＮ演算コア１０Ｂの量子化演算回路５とは、第二セマフォＳ２２を使用することで、第二データフローＦ２２において第二メモリ２に対するアクセス競合を防止できる。また、第二ＮＮ演算コア１０Ｂの畳み込み演算回路４と第二ＮＮ演算コア１０Ｂの量子化演算回路５とは、第二セマフォＳ２２を使用することで、第二データフローＦ２２におけるデータ転送の同期を取りつつ、独立して並列に動作できる。
［第二ＮＮ演算コア１０Ｂの第三データフローＦ２３］
　第二ＮＮ演算コア１０Ｂの第三データフローＦ２３は、第一ＮＮ演算コア１０Ａの第三データフローＦ１３と同等である。第二ＮＮ演算コア１０Ｂの量子化演算回路５と第二ＮＮ演算コア１０Ｂの畳み込み演算回路４とは、第三セマフォＳ２３を使用することで、第三データフローＦ２３において第一メモリ１に対するアクセス競合を防止できる。また、第二ＮＮ演算コア１０Ｂの量子化演算回路５と第二ＮＮ演算コア１０Ｂの畳み込み演算回路４とは、第三セマフォＳ２３を使用することで、第三データフローＦ２３におけるデータ転送の同期を取りつつ、独立して並列に動作できる。
［第二ＮＮ演算コア１０Ｂの第四データフローＦ２４］
　第二ＮＮ演算コア１０Ｂの第四データフローＦ２４は、第一ＮＮ演算コア１０Ａの第四データフローＦ１４と同等である。第一ＮＮ演算コア１０Ａの量子化演算回路５と第二ＮＮ演算コア１０Ｂの畳み込み演算回路４とは、第四セマフォＳ２４を使用することで、第四データフローＦ２４において第一メモリ１に対するアクセス競合を防止できる。また、第一ＮＮ演算コア１０Ａの量子化演算回路５と第二ＮＮ演算コア１０Ｂの畳み込み演算回路４とは、第四セマフォＳ２４を使用することで、第四データフローＦ２４における複数数のＮＮ演算コア１０間のデータ転送の同期を取りつつ、独立して並列に動作できる。
［第一ＮＮ演算コア１０Ａの畳み込み演算回路４の動作］
　第一ＮＮ演算コア１０Ａの畳み込み演算回路４は、畳み込み演算を行う際、第一ＮＮ演算コア１０Ａの第一メモリ１から読み出しを行い、第一ＮＮ演算コア１０Ａの第二メモリ２に対して書き込みを行う。すなわち、畳み込み演算回路４は、３つのデータフロー（第一データフローＦ１１、第三データフローＦ１３および第四データフローＦ１４）においてはＣｏｎｓｕｍｅｒであり、第二データフローＦ１２においてはＰｒｏｄｕｃｅｒである。そのため、畳み込み演算回路４は、畳み込み演算を開始する際、データフローに対応するリードセマフォ（第一リードセマフォＳ１１Ｒ、第三リードセマフォＳ１３Ｒまたは第四リードセマフォＳ１４Ｒ）に対してＰ操作を行い（図２４、図２６、図２７参照）、第二ライトセマフォＳ１２Ｗに対してＰ操作を行う（図２４参照）。畳み込み演算回路４は、畳み込み演算の完了後に、データフローに対応するライトセマフォ（第一ライトセマフォＳ１１Ｗ、第三ライトセマフォＳ１３Ｗ、第四ライトセマフォＳ１４Ｗ）に対してＶ操作を行い（図２４、図２６、図２７参照）、第二リードセマフォＳ１２Ｒに対してＶ操作を行う（図２５参照）。
　第一ＮＮ演算コア１０Ａの畳み込み演算回路４は、畳み込み演算を開始する際、データフローに対応するリードセマフォ（第一リードセマフォＳ１１Ｒ、第三リードセマフォＳ１３Ｒまたは第四リードセマフォＳ１４Ｒ）が「１」以上、かつ、第二ライトセマフォＳ１２Ｗが「１」以上となるまで待たされる（デコードステートＳＴ２におけるＷａｉｔ）。
［第一ＮＮ演算コア１０Ａの量子化演算回路５の動作］
　第一ＮＮ演算コア１０Ａの量子化演算回路５は、量子化演算を行う際、第一ＮＮ演算コア１０Ａの第二メモリ２から読み出しを行い、第一ＮＮ演算コア１０Ａの第一メモリ１または第二ＮＮ演算コア１０Ｂの第一メモリ１に対して書き込みを行う。すなわち、量子化演算回路５は、第二データフローＦ１２においてはＣｏｎｓｕｍｅｒであり、２つのデータフロー（第三データフローＦ１３および第四データフローＦ２４）においてはＰｒｏｄｕｃｅｒである。そのため、量子化演算回路５は、量子化演算を開始する際、第二リードセマフォＳ１２Ｒに対してＰ操作を行い（図２５参照）、データフローに対応するライトセマフォ（第三ライトセマフォＳ１３Ｗまたは第四ライトセマフォＳ２４Ｗ）に対してＰ操作を行う（図２６参照）。量子化演算回路５は量子化演算の完了後に、第二ライトセマフォＳ１２Ｗに対してＶ操作を行い（図２５参照）、データフローに対応するリードセマフォ（第三リードセマフォＳ１３Ｒまたは第四リードセマフォＳ２４Ｒ）に対してＶ操作を行う（図２６参照）。
　第一ＮＮ演算コア１０Ａの量子化演算回路５は、量子化演算を開始する際、第二リードセマフォＳ１２Ｒが「１」以上、かつ、データフローに対応するライトセマフォ（第三ライトセマフォＳ１３Ｗまたは第四ライトセマフォＳ２４Ｗ）が「１」以上となるまで待たされる（デコードステートＳＴ２におけるＷａｉｔ）。
　第一ＮＮ演算コア１０Ａの量子化演算回路５は、第三データフローＦ１３と第四データフローＦ２４とを切り替えて、量子化演算出力データを格納する第一メモリ１を変更できる。第二ＮＮ演算コア１０Ｂの量子化演算回路５は、同様に、第三データフローＦ２３と第四データフローＦ１４とを切り替えて、量子化演算出力データを格納する第一メモリ１を変更できる。
　本実施形態に係るニューラルネットワーク回路１００によれば、ＩｏＴ機器などの組み込み機器に組み込み可能なＮＮ回路１００を高性能に動作させることができる。複数のＮＮ演算コア１０を接続することで、より多くのニューラルネットワーク演算を効率的かつ高速に実施することができる。
　以上、本発明の第一実施形態について図面を参照して詳述したが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。また、上述の実施形態および変形例において示した構成要素は適宜に組み合わせて構成することが可能である。
（第二実施形態）
　本発明の第二実施形態について、図２８から図３１を参照して説明する。以降の説明において、既に説明したものと共通する構成については、同一の符号を付して重複する説明を省略する。第二実施形態に係るニューラルネットワーク回路１００Ｂ（以下、「ＮＮ回路１００Ｂ」という）は、第一実施形態に係るニューラルネットワーク回路１００と比較して、畳み込み演算回路４が異なる。
［ＮＮ回路１００Ｂ］
　ＮＮ回路１００Ｂは、第一ＤＭＡＣ３、コントローラ６と、ＩＦＵ７と、共有メモリ８と、第二ＤＭＡＣ９と、少なくとも一つのニューラルネットワーク演算コア１０Ｅ（以下、「ＮＮ演算コア１０Ｅ」ともいう）と、を備える。
［ＮＮ演算コア１０Ｅ］
　ＮＮ演算コア１０Ｅは、第一メモリ１と、第二メモリ２と、畳み込み演算回路４Ｂと、量子化演算回路５と、を備える。
［畳み込み演算回路４Ｂ］
　畳み込み演算回路４Ｂは、学習済みのＣＮＮ２００の畳み込み層２１０における畳み込み演算を行う回路である。畳み込み演算回路４Ｂは、第一メモリ１に格納された入力データａを読み出し、入力データａに対して畳み込み演算を実施する。畳み込み演算回路４Ｂは畳み込み演算出力データを第二メモリ２に書き込む。
　図２８は、畳み込み演算回路４Ｂの内部ブロック図である。
　畳み込み演算回路４Ｂは、重みメモリ４１と、乗算器４２Ｂと、アキュムレータ回路４３と、ステートコントローラ４４と、を有する。
　図２９は、乗算器４２の内部ブロック図である。
　乗算器（演算器アレイ）４２Ｂは、分割入力データａ（ｘ＋ｉ，ｙ＋ｊ，ｃｏ）の各要素ａ（ｘ＋ｉ，ｙ＋ｊ，ｃｉ）と、分割重みｗ（ｉ，ｊ，ｃｏ，ｄｏ）の各要素ｗ（ｉ，ｊ，ｃｉ，ｄｉ）と、を乗算する。乗算器４２は、Ｂｃ×Ｂｄ個の積和演算ユニットアレイ４２Ａを有し、分割入力データａ（ｘ＋ｉ，ｙ＋ｊ，ｃｏ）の要素ａ（ｘ＋ｉ，ｙ＋ｊ，ｃｉ）と分割重みｗ（ｉ，ｊ，ｃｏ，ｄｏ）の要素ｗ（ｉ，ｊ，ｃｉ，ｄｉ）との乗算を並列して実施できる。
　乗算器（演算器アレイ）４２Ｂは、乗算に必要な要素ａと要素ｗを、第一メモリ１および重みメモリ４１から読み出して乗算を実施する。乗算器４２は、Ｂｄ個の積和演算結果Ｏ（ｘ＋ｉ，ｙ＋ｊ，ｄｉ）を出力する。
　なお、乗算器４２に含まれる積和演算ユニットアレイ４２Ａの数はＢｃ×Ｂｄ個に限定されない。例えば、積和演算ユニットアレイ４２Ａの数は、（Ｂｃ／Ｐ）×Ｂｄ個（ＰはＢｃまたはＢｃの約数）であってもよい。この場合、積和演算ユニットアレイ４２Ａは、分割入力データａ（ｘ＋ｉ，ｙ＋ｊ，ｃｏ）をｃ軸方向においてＰ個ごとに分割する。
　乗算器（演算器アレイ）４２Ｂは、要素ａ（ｘ＋ｉ，ｙ＋ｊ，ｃｉ）と、要素ａ（ｘ＋ｉ，ｙ＋ｙ１＋ｊ，ｃｉ）と、要素ａ（ｘ＋ｉ，ｙ＋ｙ２＋ｊ，ｃｉ）と、を第一メモリ１から読み出す（０＜ｙ１＜ｙ２）。ｙ１＝１、ｙ２＝２の場合、３組の要素ａは、ｘｙ軸平面におけるｙ軸方向に連続するラインデータである。ｙ１＝１＋ＳＴ、ｙ２＝２+２ＳＴの場合、３組の要素ａは、ｙ軸方向に所定のライン数ＳＴだけ離れたラインデータである（ＳＴはｙ軸方向のストライド）。乗算器（演算器アレイ）４２Ｂは、要素ａを格納するラインメモリを有してもよい。
　第一メモリ１は、マルチバンクメモリであることが望ましい。この場合、要素ａ（ｘ＋ｉ，ｙ＋ｊ，ｃｉ）と、要素ａ（ｘ＋ｉ，ｙ＋ｙ１＋ｊ，ｃｉ）と、要素ａ（ｘ＋ｉ，ｙ＋ｙ２＋ｊ，ｃｉ）とは異なるバンクに格納され、各要素は独立して高速に読み出される。
　図３０は、積和演算ユニットアレイ４２Ａの内部ブロック図である。
　積和演算ユニットアレイ４２Ａは、要素ａと、要素ｗとを乗算する。積和演算ユニットアレイ４２Ａは、３個の積和演算ユニット４７Ｂを有する。以降の説明において、３個の積和演算ユニット４７Ｂを、第一積和演算ユニット４７１、第二積和演算ユニット４７２、第三積和演算ユニット４７３という。
　図３１は、積和演算ユニット４７Ｂの内部ブロック図である。
　積和演算ユニット４７Ｂは、入力ベクトルＡの要素Ａ（ｃｉ）と、重みマトリクスＷの要素Ｗ（ｃｉ，ｄｉ）とを乗算する。積和演算ユニット４７は、乗算結果ｓ（ｃｉ）を出力する。要素Ａ（ｃｉ）は、２ビットの符号なし整数（０，１，２，３）である。要素Ｗ（ｃｉ，ｄｉ）は、１ビットの符号付整数（０，１）であり、値「０」は＋１を表し、値「１」は－１を表す。
　積和演算ユニット４７Ｂは、反転器（インバータ）４７ａと、セレクタ４７ｂと、加算器４７ｃと、を有する。積和演算ユニット４７は、乗算器を用いず、反転器４７ａおよびセレクタ４７ｂのみを用いて乗算を行う。セレクタ４７ｂは、要素Ｗ（ｃｉ，ｄｉ）が「０」の場合、要素Ａ（ｃｉ）の入力を選択する。セレクタ４７ｂは、要素Ｗ（ｃｉ，ｄｉ）が「１」の場合、要素Ａ（ｃｉ）を反転器により反転させた補数を選択する。要素Ｗ（ｃｉ，ｄｉ）は、加算器４７ｃのＣａｒｒｙ－ｉｎにも入力される。加算器４７ｃは、要素Ｗ（ｃｉ，ｄｉ）が「０」のとき、ｍ（ｃｉ，ｄｉ）に要素Ａ（ｃｉ）を加算した値を出力する。加算器４７ｃは、Ｗ（ｃｉ，ｄｉ）が「１」のとき、ｍ（ｃｉ，ｄｉ）から要素Ａ（ｃｉ）を減算した値を出力する。
　第一積和演算ユニット４７１は、要素ａ（Ｘ，Ｙ，ｃｉ）と要素ｗ（ｉ，ｊ，ｃｉ，ｄｉ）とを乗算する（Ｘは入力データａに含まれる任意のｘ座標、Ｙは入力データａに含まれる任意のｙ座標）。第一積和演算ユニット４７１は、出力ｍ（ｉ，ｊ，ｃｉ，ｄｉ）を加算器４７Ａに出力する。
　第二積和演算ユニット４７２は、要素ａ（Ｘ，Ｙ＋ｙ１，ｃｉ）と要素ｗ（ｉ，ｊ＋１，ｃｉ，ｄｉ）とを乗算する。第二積和演算ユニット４７２は、出力ｍ（ｉ，ｊ＋１，ｃｉ，ｄｉ）を加算器４７Ａに出力する。
　第三積和演算ユニット４７３は、要素ａ（Ｘ，Ｙ＋ｙ２，ｃｉ）と要素ｗ（ｉ，ｊ＋２，ｃｉ，ｄｉ）とを乗算する。第三積和演算ユニット４７３は、出力ｍ（ｉ，ｊ＋２、ｃｉ，ｄｉ）を加算器４７Ａに出力する。
　加算器４７Ａは、出力ｍ（ｉ，ｊ，ｃｉ，ｄｉ）と、出力ｍ（ｉ，ｊ＋１，ｃｉ，ｄｉ）と、出力ｍ（ｉ，ｊ＋２，ｃｉ，ｄｉ）と、他の積和演算ユニット４７Ｂの乗算結果Ｓ（ｘ＋ｉ，ｙ＋ｊ，ｃｉ，ｄｉ）と、を加算して、加算結果Ｓ（ｘ＋ｉ，ｙ＋ｊ，ｃｉ＋１，ｄｉ）を出力する。
　本実施形態に係るニューラルネットワーク回路１００Ｂによれば、積和演算ユニットアレイ４２Ａにより演算を並列化でき、畳み込み演算を高速化できる。ニューラルネットワーク回路１００Ｂは、畳み込み演算におけるｙ軸方向のストライドＳＴが２以上であっても好適に畳み込み演算を実施できる。
　以上、本発明の第二実施形態について図面を参照して詳述したが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。また、上述の実施形態および変形例において示した構成要素は適宜に組み合わせて構成することが可能である。
（第三実施形態）
　本発明の第三実施形態について、図３２から図３６を参照して説明する。以降の説明において、既に説明したものと共通する構成については、同一の符号を付して重複する説明を省略する。第三実施形態に係るニューラルネットワーク回路１００Ｇ（以下、「ＮＮ回路１００Ｇ」という）は、第一実施形態に係るニューラルネットワーク回路１００と比較して、クロックゲーティング機能やパワーゲーティング機能をさらに有する。
［ＮＮ回路１００Ｇ］
　図３２は、本実施形態に係るＮＮ回路１００Ｇの全体構成を示す図である。
　ＮＮ回路１００Ｇは、第一ＤＭＡＣ３Ｇ、コントローラ６と、ＩＦＵ７と、共有メモリ８と、第二ＤＭＡＣ９と、少なくとも一つのニューラルネットワーク演算コア１０Ｇ（以下、「ＮＮ演算コア１０Ｇ」ともいう）と、を備える。なお、ＮＮ回路１００Ｇは、共有メモリ８および第二ＤＭＡＣ９を有していなくてもよい。
　ＮＮ回路１００Ｇは、複数のＮＮ演算コア１０Ｇを実装可能である。図３２に例示するＮＮ回路１００Ｇは、ＮＮ演算コア１０Ｇを最大４つまで実装可能である。複数のＮＮ演算コア１０Ｇは、第一実施形態のＮＮ演算コア１０と同様に、ＮＮ２００の少なくとの一部の演算を連携して実行する「ＮＮ演算マルチコア１０Ｍ」を構成する。複数のＮＮ演算コア１０Ｇは、第一実施形態と同様にデイジーチェーン接続されている。なお、ＮＮ回路１００Ｇに実装可能なＮＮ演算コア１０の数は４個に限定されない。
［第一ＤＭＡＣ３Ｇ］
　図３３は、第一ＤＭＡＣ３Ｇの内部ブロック図である。
　第一ＤＭＡＣ３Ｇは、第一実施形態の第一ＤＭＡＣ３と同様に、外部バスＥＢに接続されており、ＤＲＡＭなどの外部メモリ１２０とＮＮ演算コア１０Ｇとの間のデータ転送を行う。第一ＤＭＡＣ３Ｇは、データ転送回路３１と、ステートコントローラ３２と、クロック制御部３９と、を有する。
　図３４は、クロック制御部３９の動作を示すタイミングチャートである。
　クロック制御部３９は、ＮＮ回路１００Ｇに供給されるクロックＣＫから、クロックイネーブル信号ＣＥ３に基づいて、ゲーティッドクロック（第三クロック）ＧＣ３を生成する。クロックイネーブル信号ＣＥ３がネゲートされて無効（Ｄｉｓａｂｌｅ、図３４においてＬｏｗ）に設定されると、ゲーティッドクロックＧＣ３のトグルが停止される。クロックイネーブル信号ＣＥ３がアサートされて有効（Ｅｎａｂｌｅ、図３４においてＨｉｇｈ）に設定されると、ゲーティッドクロックＧＣ３のトグルが開始される。ゲーティッドクロックＧＣ３の生成回路は、公知のクロックゲーティング用回路から適宜選択された回路である。
　クロックイネーブル信号ＣＥ３は、ステートコントローラ３２によって制御される。ステートコントローラ３２の制御回路３４は、デコードステートＳＴ２において、命令コマンドＣ３において指示されたデータ転送回路３１の動作が実行不能であると判定した場合、実行可能となるまで待つ（Ｗａｉｔ）。制御回路３４は、上記の動作が実行可能となるまで待つ期間において、クロックイネーブル信号ＣＥ３をネゲートして無効（Ｄｉｓａｂｌｅ）に設定する。その結果、ゲーティッドクロックＧＣ３のトグルが停止される。ステートコントローラ３２の制御回路３４は、上記の動作が実行可能となりデコードステートＳＴ２から実行ステートＳＴ３に遷移するときに、クロックイネーブル信号ＣＥ３をアサートして有効（Ｅｎａｂｌｅ）に設定する。その結果、制御回路３４が実行ステートＳＴ３であるとき、ゲーティッドクロックＧＣ３のトグルが再開される。
　生成されたゲーティッドクロックＧＣ３は、図３３に示すように、ステートコントローラ３２の一部と、データ転送回路３１とに対して出力され、動作クロックとして使用される。
　クロック制御部３９は、アイドルステートＳＴ１において、クロックイネーブル信号ＣＥ３をネゲートして無効に設定してもよい。さらに、制御回路３４は、アイドルステートＳＴ１において、ゲーティッドクロックＧＣ３が提供される回路に対する電力提供を停止（パワーゲーティング）して、省電力モードに遷移してもよい。
［ＮＮ演算コア１０Ｇ］
　ＮＮ演算コア１０Ｇは、第一メモリ１と、第二メモリ２と、畳み込み演算回路４Ｇと、量子化演算回路５Ｇと、を備える。
［畳み込み演算回路４Ｇ］
　図３５は、畳み込み演算回路４Ｇの内部ブロック図である。
　畳み込み演算回路４Ｇは、重みメモリ４１と、乗算器４２と、アキュムレータ回路４３と、ステートコントローラ４４と、クロック制御部４９と、を有する。
　クロック制御部４９は、ＮＮ回路１００Ｇに供給されるクロックＣＫから、クロックイネーブル信号ＣＥ４に基づいて、ゲーティッドクロック（第一クロック）ＧＣ４を生成する。図３４に示すように、クロックイネーブル信号ＣＥ４がネゲートされて無効（Ｄｉｓａｂｌｅ）に設定されると、ゲーティッドクロックＧＣ４のトグルが停止される。クロックイネーブル信号ＣＥ４がアサートされて有効（Ｅｎａｂｌｅ）に設定されると、ゲーティッドクロックＧＣ４のトグルが開始される。クロック制御部４９は、第一ＤＭＡＣ３Ｇのクロック制御部３９と同様の構成である。
　クロックイネーブル信号ＣＥ４は、ステートコントローラ４４によって制御される。ステートコントローラ４４の制御回路４６は、デコードステートＳＴ２において、命令コマンドＣ４において指示された乗算器４２やアキュムレータ回路４３等の動作が実行不能であると判定した場合、実行可能となるまで待つ（Ｗａｉｔ）。制御回路４６は、上記の動作が実行可能となるまで待つ期間において、クロックイネーブル信号ＣＥ４をネゲートして無効（Ｄｉｓａｂｌｅ）に設定する。その結果、ゲーティッドクロックＧＣ４のトグルが停止される。ステートコントローラ４４の制御回路４６は、上記の動作が実行可能となりデコードステートＳＴ２から実行ステートＳＴ３に遷移するときに、クロックイネーブル信号ＣＥ４をアサートして有効（Ｅｎａｂｌｅ）に設定する。その結果、制御回路４６が実行ステートＳＴ３であるとき、ゲーティッドクロックＧＣ４のトグルが再開される。
　生成されたゲーティッドクロックＧＣ４は、図３５に示すように、ステートコントローラ４４の一部と、重みメモリ４１と、乗算器４２と、アキュムレータ回路４３とに対して出力され、動作クロックとして使用される。
　クロック制御部４９は、アイドルステートＳＴ１において、クロックイネーブル信号ＣＥ４をネゲートして無効に設定してもよい。さらに、制御回路４６は、アイドルステートＳＴ１において、ゲーティッドクロックＧＣ４が提供される回路に対する電力提供を停止（パワーゲーティング）して、省電力モードに遷移してもよい。
［量子化演算回路５Ｇ］
　図３６は、量子化演算回路５Ｇの内部ブロック図である。
　量子化演算回路５Ｇは、量子化パラメータメモリ５１と、ベクトル演算回路５２と、量子化回路５３と、ステートコントローラ５４と、クロック制御部５９と、を有する。
　クロック制御部５９は、ＮＮ回路１００Ｇに供給されるクロックＣＫから、クロックイネーブル信号ＣＥ５に基づいて、ゲーティッドクロック（第三クロック）ＧＣ５を生成する。図３４に示すように、クロックイネーブル信号ＣＥ５がネゲートされて無効（Ｄｉｓａｂｌｅ）に設定されると、ゲーティッドクロックＧＣ５のトグルが停止される。クロックイネーブル信号ＣＥ５がアサートされて有効（Ｅｎａｂｌｅ）に設定されると、ゲーティッドクロックＧＣ５のトグルが開始される。クロック制御部５９は、第一ＤＭＡＣ３Ｇのクロック制御部３９と同様の構成である。
　クロックイネーブル信号ＣＥ５は、ステートコントローラ５４によって制御される。ステートコントローラ５４の制御回路５６は、デコードステートＳＴ２において、命令コマンドＣ５において指示されたベクトル演算回路５２や量子化回路５３等の動作が実行不能であると判定した場合、実行可能となるまで待つ（Ｗａｉｔ）。制御回路５６は、上記の動作が実行可能となるまで待つ期間において、クロックイネーブル信号ＣＥ５をネゲートして無効（Ｄｉｓａｂｌｅ）に設定する。その結果、ゲーティッドクロックＧＣ５のトグルが停止される。ステートコントローラ５４の制御回路５６は、上記の動作が実行可能となりデコードステートＳＴ２から実行ステートＳＴ３に遷移するときに、クロックイネーブル信号ＣＥ５をアサートして有効（Ｅｎａｂｌｅ）に設定する。その結果、制御回路５６が実行ステートＳＴ３であるとき、ゲーティッドクロックＧＣ５のトグルが再開される。
　生成されたゲーティッドクロックＧＣ５は、図３６に示すように、ステートコントローラ５４の一部と、量子化パラメータメモリ５１と、ベクトル演算回路５２と、量子化回路５３とに対して出力され、動作クロックとして使用される。
　クロック制御部５９は、アイドルステートＳＴ１において、クロックイネーブル信号ＣＥ５をネゲートして無効に設定してもよい。さらに、制御回路５６は、アイドルステートＳＴ１において、ゲーティッドクロックＧＣ５が提供される回路に対する電力提供を停止（パワーゲーティング）して、省電力モードに遷移してもよい。
　本実施形態に係るニューラルネットワーク回路１００Ｇによれば、クロックゲーティングやパワーゲーティングにより消費電力を削減することができる。第一ＤＭＡＣ３Ｇと畳み込み演算回路４Ｇと量子化演算回路５Ｇとは、それぞれ独立してクロックゲーティングやパワーゲーティングを実施する。
　以上、本発明の第三実施形態について図面を参照して詳述したが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。また、上述の実施形態および変形例において示した構成要素は適宜に組み合わせて構成することが可能である。
（第四実施形態）
　本発明の第四実施形態について、図３７を参照して説明する。以降の説明において、既に説明したものと共通する構成については、同一の符号を付して重複する説明を省略する。第四実施形態に係るニューラルネットワーク回路１００Ｈ（以下、「ＮＮ回路１００Ｈ」という）は、第一実施形態に係るニューラルネットワーク回路１００と比較して、マルチコア管理部１１をさらに有する。
［ＮＮ回路１００Ｈ］
　図３７は、本実施形態に係るＮＮ回路１００Ｈの全体構成を示す図である。
　ＮＮ回路１００Ｈは、第一ＤＭＡＣ３と、コントローラ６と、ＩＦＵ７と、共有メモリ８と、第二ＤＭＡＣ９と、少なくとも一つのＮＮ演算コア１０と、マルチコア管理部１１と、を備える。
　マルチコア管理部１１は、ＮＮ演算マルチコア１０Ｍの状態を監視して、ＮＮ演算コア１０に供給するクロックや電力を管理する。ＮＮ演算マルチコア１０Ｍのうち動作しているＮＮ演算コア１０に対してクロックや電力を供給し、動作していないＮＮ演算コア１０の少なくとも一部に対してクロックや電力を供給しない。すなわち、マルチコア管理部１１は、ＮＮ演算コア１０の動作状況に応じて、クロックゲーティングとパワーゲーティングの少なくとも一方をＮＮ演算コア１０ごとに実施する。ＮＮ回路１００Ｈは、ＮＮ演算コア１０を複数搭載することで演算性能を向上させることができ、かつ、回路規模増大に伴う消費電力の増加を好適に抑制できる。
　マルチコア管理部１１は、動作可能なＮＮ演算コア１０を強制的に選択可能であってもよい。例えば、マルチコア管理部１１は、一部のＮＮ演算コア１０を動作可能とし、他のＮＮ演算コア１０を動作不可と設定する。マルチコア管理部１１は、動作不可と設定されたＮＮ演算コア１０に対してクロックと電力の提供を停止する。マルチコア管理部１１は、動作可能なＮＮ演算コア１０を限定することで、演算性能の低下を伴うものの消費電力を低減できる。また、マルチコア管理部１１は、全てのＮＮ演算コア１０を動作可能に設定することで、消費電力の増加を伴うものの演算性能を向上させることができる。
　本実施形態に係るニューラルネットワーク回路１００Ｈによれば、クロックゲーティングやパワーゲーティングにより消費電力を削減することができる。マルチコア管理部１１は、ＮＮ演算コア１０ごとに独立してクロックゲーティングやパワーゲーティングを実施する。
　ＮＮ回路１００Ｈは、第三実施形態における第一ＤＭＡＣ３Ｇ、畳み込み演算回路４Ｇおよび量子化演算回路５Ｇが実施するクロックゲーゲーティングやパワーゲーティングを併せて実施してもよい。
　以上、本発明の第四実施形態について図面を参照して詳述したが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。また、上述の実施形態および変形例において示した構成要素は適宜に組み合わせて構成することが可能である。
（変形例１）
　上記実施形態において、複数のＮＮ演算コア１０はデイジーチェーン接続されていたが、複数のＮＮ演算コア１０の接続態様はこれに限定されない。ＮＮ演算コア１０は、少なくとも一つの他のＮＮ演算コア１０とデータ入出力可能に接続されていればよい。複数のＮＮ演算コア１０の接続態様が異なる場合も、ＮＮ回路１００はデータフローごとに設けられたセマフォＳを用いて制御される。
（変形例２）
　上記実施形態において、第一メモリ１と第二メモリ２は別のメモリであったが、第一メモリ１と第二メモリ２の態様はこれに限定されない。第一メモリ１と第二メモリ２は、例えば、同一メモリにおける第一メモリ領域と第二メモリ領域であってもよい。
（変形例３）
　上記実施形態において、セマフォＳは第一データフロー（Ｆ１１，Ｆ２１）、第二データフロー（Ｆ１２，Ｆ２２）、第三データフロー（Ｆ１３，Ｆ２３）および第四データフロー（Ｆ１４，Ｆ２４）に対して設けられていたが、セマフォＳの態様はこれに限定されない。セマフォＳは、例えば、第一ＤＭＡＣ３が重みｗを重みメモリ４１に書き込み、乗算器４２が重みｗを読み出すデータフローに設けられていてもよい。セマフォＳは、例えば、第一ＤＭＡＣ３が量子化パラメータｑを量子化パラメータメモリ５１に書き込み、量子化回路５３が量子化パラメータｑを読み出すデータフローに設けられていてもよい。
（変形例４）
　例えば、上記実施形態に記載のＮＮ回路１００に入力されるデータは単一の形式に限定されず、静止画像、動画像、音声、文字、数値およびこれらの組み合わせで構成することが可能である。なお、ＮＮ回路１００に入力されるデータは、ＮＮ回路１００が設けられるエッジデバイスに搭載され得る、光センサ、温度計、Global Positioning System（GPS）計測器、角速度計測器、風速計などの物理量測定器における測定結果に限られない。周辺機器から有線または無線通信経由で受信する基地局情報、車両・船舶等の情報、天候情報、混雑状況に関する情報などの周辺情報や金融情報や個人情報等の異なる情報を組み合わせてもよい。
（変形例５）
　ＮＮ回路１００が設けられるエッジデバイスは、バッテリー等で駆動する携帯電話などの通信機器、パーソナルコンピュータなどのスマートデバイス、デジタルカメラ、ゲーム機器、ロボット製品などのモバイル機器を想定するが、これに限られるものではない。Power on Ethernet（PoE）などでの供給可能なピーク電力制限、製品発熱の低減または長時間駆動の要請が高い製品に利用することでも他の先行例にない効果を得ることができる。例えば、車両や船舶などに搭載される車載カメラや、公共施設や路上などに設けられる監視カメラ等に適用することで長時間の撮影を実現できるだけでなく、軽量化や高耐久化にも寄与する。また、テレビやディスプレイ等の表示デバイス、医療カメラや手術ロボット等の医療機器、製造現場や建築現場で使用される作業ロボットなどにも適用することで同様の効果を奏することができる。
（変形例６）
　ＮＮ回路１００は、ＮＮ回路１００の一部または全部を一つ以上のプロセッサを用いて実現してもよい。例えば、ＮＮ回路１００は、入力層または出力層の一部または全部をプロセッサによるソフトウェア処理により実現してもよい。ソフトウェア処理により実現する入力層または出力層の一部は、例えば、データの正規化や変換である。これにより、様々な形式の入力形式または出力形式に対応できる。なお、プロセッサで実行するソフトウェアは、通信手段や外部メディアを用いて書き換え可能に構成してもよい。
（変形例７）
　ＮＮ回路１００は、ＣＮＮ２００における処理の一部をクラウド上のGraphics Processing Unit（GPU）等を組み合わせることで実現してもよい。ＮＮ回路１００は、ＮＮ回路１００が設けられるエッジデバイスで行った処理に加えて、クラウド上でさらに処理を行ったり、クラウド上での処理に加えてエッジデバイス上で処理を行ったりすることで、より複雑な処理を少ないリソースで実現できる。このような構成によれば、ＮＮ回路１００は、処理分散によりエッジデバイスとクラウドとの間の通信量を低減できる。
　また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
　本発明は、ニューラルネットワークの演算に適用することができる。
２００　畳み込みニューラルネットワーク
１００，１００Ｂ，１００Ｇ，１００Ｈ　ニューラルネットワーク回路（ＮＮ回路）
１０，１０Ｇ　ニューラルネットワーク演算コア（ＮＮ演算コア）
１０Ａ　第一ニューラルネットワーク演算コア（第一ＮＮ演算コア）
１０Ｂ　第二ニューラルネットワーク演算コア（第二ＮＮ演算コア）
１０Ｍ　ニューラルネットワーク演算マルチコア（ＮＮ演算マルチコア）
１１　マルチコア管理部
１　第一メモリ
２　第二メモリ
３，３Ｇ　第一ＤＭＡコントローラ（第一ＤＭＡＣ）
４，４Ｂ，４Ｇ　畳み込み演算回路
４２，４２Ｂ　乗算器
４３　アキュムレータ回路
４９　クロック制御部
５，５Ｇ　量子化演算回路
５２　ベクトル演算回路
５３　量子化回路
５９　クロック制御部
６　コントローラ
６１　レジスタ
７　ＩＦＵ
８　共有メモリ
９　第二ＤＭＡコントローラ（第二ＤＭＡＣ）
Ｓ　セマフォ
Ｓ１　第一セマフォ
Ｓ１１Ｒ，Ｓ２１Ｒ　第一リードセマフォ
Ｓ１１Ｗ，Ｓ２１Ｗ　第一ライトセマフォ
Ｓ２　第二セマフォ
Ｓ１２Ｒ，Ｓ２２Ｒ　第二リードセマフォ
Ｓ１２Ｗ，Ｓ２２Ｗ　第二ライトセマフォ
Ｓ３　第三セマフォ
Ｓ１３Ｒ，Ｓ２３Ｒ　第三リードセマフォ
Ｓ１３Ｗ，Ｓ２３Ｗ　第三ライトセマフォ
Ｓ４　第四セマフォ
Ｓ１４Ｒ，Ｓ２４Ｒ　第四リードセマフォ
Ｓ１４Ｗ，Ｓ２４Ｗ　第四ライトセマフォ
Ｆ１１，Ｆ２１　第一データフロー
Ｆ１２，Ｆ２２　第二データフロー
Ｆ１３，Ｆ２３　第三データフロー（ループバックデータフロー）
Ｆ１４，Ｆ２４　第四データフロー（バイパスデータフロー）

Claims (12)

  1. 　畳み込み演算を行う畳み込み演算回路と、量子化演算を行う量子化演算回路と、を有するニューラルネットワーク演算コアを複数有し、
    　前記複数のニューラルネットワーク演算コアは、データ入出力可能に接続されている、
    　ニューラルネットワーク回路。
  2. 　前記複数のニューラルネットワーク演算コアは、デイジーチェーン接続されている、
    　請求項１に記載のニューラルネットワーク回路。
  3. 　最終段以外の前記ニューラルネットワーク演算コアは、後段の前記ニューラルネットワーク演算コアに接続され、
    　最終段の前記ニューラルネットワーク演算コアは、最初段の前記ニューラルネットワーク演算コアに接続されている、
    　請求項１に記載のニューラルネットワーク回路。
  4. 　前記ニューラルネットワーク演算コアは、
    　　前記畳み込み演算回路に入力される入力データを格納する第一メモリと、
    　　前記畳み込み演算回路の畳み込み演算出力データを格納する第二メモリと、
    　を備え、
    　前記量子化演算回路の量子化演算出力データは、前記第一メモリに格納されて、
    　前記第一メモリに格納された前記量子化演算出力データは、前記畳み込み演算回路に前記入力データとして入力される、
    　請求項１から請求項３のいずれか一項に記載のニューラルネットワーク回路。
  5. 　前記ニューラルネットワーク演算コアである第一ニューラルネットワーク演算コアと第二ニューラルネットワーク演算コアにおいて、
    　前記第一ニューラルネットワーク演算コアの前記量子化演算回路の前記量子化演算出力データは、前記第二ニューラルネットワーク演算コアの前記第一メモリに格納可能である、
    　請求項４に記載のニューラルネットワーク回路。
  6. 　前記ニューラルネットワーク演算コアにおいて、前記第一メモリと、前記畳み込み演算回路と、前記第二メモリと、前記量子化演算回路とは、ループ状に形成されている、
    　請求項５に記載のニューラルネットワーク回路。
  7. 　前記第一メモリと、前記畳み込み演算回路と、前記第二メモリと、前記量子化演算回路とは、同じ順番で繰り返し配列するよう接続されている、
    　請求項６に記載のニューラルネットワーク回路。
  8. 　前記第一ニューラルネットワーク演算コアの前記量子化演算回路が前記量子化演算出力データを前記第一ニューラルネットワーク演算コアの前記第一メモリに書き込み、前記第一ニューラルネットワーク演算コアの前記畳み込み演算回路が前記量子化演算出力データを読み出すデータフローを制御する第三セマフォと、
    　前記第二ニューラルネットワーク演算コアの前記量子化演算回路が前記量子化演算出力データを前記第一ニューラルネットワーク演算コアの前記第一メモリに書き込み、前記第一ニューラルネットワーク演算コアの前記畳み込み演算回路が前記量子化演算出力データを読み出すデータフローを制御する第四セマフォと、
    　を備える、
    　請求項６に記載のニューラルネットワーク回路。
  9. 　前記畳み込み演算回路は、前記畳み込み演算の実行を待ち合わせるとき、前記畳み込み演算回路の少なくとも一部に供給される第一クロックのクロックゲーティングを有効にする、
    　請求項１に記載のニューラルネットワーク回路。
  10. 　前記量子化演算回路は、前記量子化演算の実行を待ち合わせるとき、前記量子化演算回路の少なくとも一部に供給される第二クロックのクロックゲーティングを有効にする、
    　請求項１に記載のニューラルネットワーク回路。
  11. 　前記複数のニューラルネットワーク演算コアのそれぞれに供給するクロックを管理するマルチコア管理部をさらに有する、
    　請求項１に記載のニューラルネットワーク回路。
  12. 　第一ニューラルネットワーク演算コアと第二ニューラルネットワーク演算コアを用いるニューラルネットワーク演算方法であって、
    　前記第一ニューラルネットワーク演算コアの出力データを、前記第一ニューラルネットワーク演算コアにループバックさせるループバックデータフローと、第二ニューラルネットワーク演算コアにバイパスさせるバイパスデータデータフローと、を切り替える、
    　ニューラルネットワーク演算方法。
PCT/JP2022/046214 2022-01-24 2022-12-15 ニューラルネットワーク回路およびニューラルネットワーク演算方法 WO2023139990A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022008692 2022-01-24
JP2022-008692 2022-01-24

Publications (1)

Publication Number Publication Date
WO2023139990A1 true WO2023139990A1 (ja) 2023-07-27

Family

ID=87348091

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/046214 WO2023139990A1 (ja) 2022-01-24 2022-12-15 ニューラルネットワーク回路およびニューラルネットワーク演算方法

Country Status (1)

Country Link
WO (1) WO2023139990A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018133016A (ja) * 2017-02-17 2018-08-23 株式会社半導体エネルギー研究所 ニューラルネットワークシステム
JP2019047046A (ja) * 2017-09-06 2019-03-22 株式会社半導体エネルギー研究所 集積回路、コンピュータ及び電子機器
JP2020532780A (ja) * 2017-08-11 2020-11-12 グーグル エルエルシー チップ上に常駐するパラメータを用いたニューラルネットワークアクセラレータ
JP2021168095A (ja) * 2020-04-13 2021-10-21 ＬｅａｐＭｉｎｄ株式会社 ニューラルネットワーク回路、エッジデバイスおよびニューラルネットワーク演算方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018133016A (ja) * 2017-02-17 2018-08-23 株式会社半導体エネルギー研究所 ニューラルネットワークシステム
JP2020532780A (ja) * 2017-08-11 2020-11-12 グーグル エルエルシー チップ上に常駐するパラメータを用いたニューラルネットワークアクセラレータ
JP2019047046A (ja) * 2017-09-06 2019-03-22 株式会社半導体エネルギー研究所 集積回路、コンピュータ及び電子機器
JP2021168095A (ja) * 2020-04-13 2021-10-21 ＬｅａｐＭｉｎｄ株式会社 ニューラルネットワーク回路、エッジデバイスおよびニューラルネットワーク演算方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
NAKAHARA YASUHIRO, AMAGASAKI MOTOKI, ZHAO QIAN, KIYAMA MASATO, IIDA MASAHIRO: "ReNA: A Reconfigurable Neural-Network Accelerator for AI Edge Computing", SASIMI 2021 PROCEEDINGS, 1 January 2021 (2021-01-01), pages 201 - 206, XP093079905 *

Similar Documents

Publication Publication Date Title
CN106228238B (zh) 现场可编程门阵列平台上加速深度学习算法的方法和系统
JP5089776B2 (ja) 浮動小数点演算のための再構成アレイプロセッサ
JP2001256199A (ja) データプロセッサ及びデータ処理システム
WO2021210527A1 (ja) ニューラルネットワーク回路の制御方法
TWI773245B (zh) 神經網路電路、網路終端設備及神經網路運算方法
US20240095522A1 (en) Neural network generation device, neural network computing device, edge device, neural network control method, and software generation program
US7769981B2 (en) Row of floating point accumulators coupled to respective PEs in uppermost row of PE array for performing addition operation
WO2023139990A1 (ja) ニューラルネットワーク回路およびニューラルネットワーク演算方法
CN117112165A (zh) 虚拟现实应用任务的处理方法、装置、虚拟现实系统
CN116795324A (zh) 混合精度浮点乘法装置和混合精度浮点数处理方法
WO2023058422A1 (ja) ニューラルネットワーク回路およびニューラルネットワーク回路の制御方法
WO2024111644A1 (ja) ニューラルネットワーク回路およびニューラルネットワーク演算方法
KR102667790B1 (ko) 뉴럴 네트워크 회로, 에지 디바이스 및 뉴럴 네트워크 연산 방법
WO2024038662A1 (ja) ニューラルネットワーク学習装置およびニューラルネットワーク学習方法
JP2024075106A (ja) ニューラルネットワーク回路およびニューラルネットワーク演算方法
JP2022183833A (ja) ニューラルネットワーク回路およびニューラルネットワーク演算方法
WO2022085661A1 (ja) ニューラルネットワーク生成装置、ニューラルネットワーク制御方法およびソフトウェア生成プログラム
JP2022105437A (ja) ニューラルネットワーク回路およびニューラルネットワーク演算方法
JP6931252B1 (ja) ニューラルネットワーク回路およびニューラルネットワーク回路の制御方法
WO2022004815A1 (ja) ニューラルネットワーク生成装置、ニューラルネットワーク生成方法およびニューラルネットワーク生成プログラム
WO2022230906A1 (ja) ニューラルネットワーク生成装置、ニューラルネットワーク演算装置、エッジデバイス、ニューラルネットワーク制御方法およびソフトウェア生成プログラム
JP2022114698A (ja) ニューラルネットワーク生成装置、ニューラルネットワーク制御方法およびソフトウェア生成プログラム
JP2023154880A (ja) ニューラルネットワーク生成方法およびニューラルネットワーク生成プログラム
JP2023006509A (ja) ソフトウェア生成装置およびソフトウェア生成方法
JP2023506343A (ja) 共有スクラッチパッドメモリを用いたベクトル縮小

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22922141

Country of ref document: EP

Kind code of ref document: A1