WO2018189620A1 - ニューラルネットワーク回路 - Google Patents

ニューラルネットワーク回路 Download PDF

Info

Publication number
WO2018189620A1
WO2018189620A1 PCT/IB2018/052250 IB2018052250W WO2018189620A1 WO 2018189620 A1 WO2018189620 A1 WO 2018189620A1 IB 2018052250 W IB2018052250 W IB 2018052250W WO 2018189620 A1 WO2018189620 A1 WO 2018189620A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
circuit
arithmetic
arithmetic circuit
column
Prior art date
Application number
PCT/IB2018/052250
Other languages
English (en)
French (fr)
Inventor
岡本佑樹
上妻宗広
黒川義元
池田隆之
Original Assignee
株式会社半導体エネルギー研究所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社半導体エネルギー研究所 filed Critical 株式会社半導体エネルギー研究所
Priority to US16/604,363 priority Critical patent/US11568223B2/en
Priority to JP2019512042A priority patent/JP7173709B2/ja
Publication of WO2018189620A1 publication Critical patent/WO2018189620A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F7/00—Methods or arrangements for processing data by operating upon the order or content of the data handled
    • G06F7/38—Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation
    • G06F7/48—Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation using non-contact-making devices, e.g. tube, solid state device; using unspecified devices
    • G06F7/50—Adding; Subtracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F7/00—Methods or arrangements for processing data by operating upon the order or content of the data handled
    • G06F7/38—Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation
    • G06F7/48—Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation using non-contact-making devices, e.g. tube, solid state device; using unspecified devices
    • G06F7/52—Multiplying; Dividing
    • G06F7/523—Multiplying only
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F7/00—Methods or arrangements for processing data by operating upon the order or content of the data handled
    • G06F7/38—Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation
    • G06F7/48—Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation using non-contact-making devices, e.g. tube, solid state device; using unspecified devices
    • G06F7/544—Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation using non-contact-making devices, e.g. tube, solid state device; using unspecified devices for evaluating functions by calculation
    • G06F7/5443—Sum of products
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F7/00—Methods or arrangements for processing data by operating upon the order or content of the data handled
    • G06F7/38—Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation
    • G06F7/48—Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation using non-contact-making devices, e.g. tube, solid state device; using unspecified devices
    • G06F7/57—Arithmetic logic units [ALU], i.e. arrangements or devices for performing two or more of the operations covered by groups G06F7/483 – G06F7/556 or for performing logical operations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G06N3/065—Analogue means

Definitions

  • One embodiment of the present invention relates to a neural network circuit.
  • a Neumann computer is known as a basic computer configuration.
  • information processing sequential processing method
  • a stored program method that is, by sequentially executing instructions (programs) and data stored in a memory.
  • an artificial neural network hereinafter referred to as a neural network
  • a neural network which is an approach that imitates an information processing method of a biological neural network, has attracted attention.
  • Neural network is composed of multiple layers such as input layer, intermediate layer and output layer.
  • the input layer, the intermediate layer, and the output layer each have a plurality of neurons.
  • Data obtained by the processing is output from the input layer to the intermediate layer and from the intermediate layer to the output layer.
  • a neural network data is input in parallel to a plurality of neurons in an input layer, and information processing (parallel processing method) is performed by processing the data in the order of an intermediate layer and an output layer.
  • Neural network information processing can realize neuron functions by software processing using a Neumann computer.
  • the processor executes the processing in a plurality of neurons in a time-sharing manner, and the parallel processing method becomes difficult. Therefore, a configuration has been proposed in which neurons are configured using hardware to form an integrated circuit (neural network circuit) (see, for example, Patent Document 1).
  • product-sum operations occupy most of the operations. Therefore, in order to eliminate the increase in circuit scale in the neural network circuit, it is important how efficiently the product-sum operation is performed. In addition, it is important to use circuit resources effectively by adopting a configuration in which product-sum operations of different processes are performed using the same circuit.
  • An object of one embodiment of the present invention is to provide a neural network circuit having a novel structure. Another object of one embodiment of the present invention is to provide a novel neural network circuit that can suppress an increase in circuit scale. Another object of one embodiment of the present invention is to provide a novel neural network circuit that can perform product-sum operations of different processes using the same circuit.
  • One embodiment of the present invention includes first to third arithmetic circuits, and each of the first to third arithmetic circuits includes a first register, a memory, a multiplier circuit, and an adder circuit,
  • the register has a function of holding input data
  • the memory has a function of storing weight data
  • the memory has a function of outputting different weight data according to switching of input context signals
  • the multiplication circuit included in the first arithmetic circuit has a function of outputting multiplication data corresponding to the product of the weight data and the input data
  • the addition circuit included in the first arithmetic circuit outputs the first addition data.
  • the first addition data is data corresponding to the sum of the multiplication data and the second addition data output from the addition circuit included in the second arithmetic circuit.
  • the first addition data is The adder circuit included in the third arithmetic circuit
  • a neural network circuit is a data output.
  • a programmable switch element is provided between first to third arithmetic circuits, and the programmable switch element switches electrical connection between the first to third arithmetic circuits by switching context signals.
  • a functional neural network circuit is preferred.
  • the memory preferably includes a transistor, and the transistor is preferably a neural network circuit that includes an oxide semiconductor in a channel formation region.
  • the first to third addition data is preferably a neural network circuit that is data used for convolution operation processing or full-join operation processing.
  • the first arithmetic circuit preferably includes a second register, and the second register is preferably a neural network circuit having a function of holding first addition data or multiplication data.
  • the neural network circuit of one embodiment of the present invention is preferably a neural network circuit having a circuit that performs activation function processing and a circuit that performs pooling calculation processing.
  • One embodiment of the present invention includes first to third arithmetic circuits, and the first arithmetic circuit includes a first register, a first memory, a first multiplier circuit, and a first adder circuit.
  • the second arithmetic circuit includes a second register, a second memory, a second multiplier circuit, and a second adder circuit
  • the third arithmetic circuit includes a third register, a third register.
  • the first to third registers each have a function of holding first to third input data
  • each of the first to third registers includes a memory, a third multiplication circuit, and a third addition circuit.
  • Each of the memories has a function of storing weight data, and each of the first to third memories has a function of outputting different first to third weight data in accordance with the switching of the context signal input thereto.
  • the first multiplication circuit according to a product of the first weight data and the first input data.
  • the second multiplication circuit has a function of outputting the first multiplication data, and the second multiplication circuit has a function of outputting the second multiplication data corresponding to the product of the second weight data and the second input data.
  • the third multiplication circuit has a function of outputting third multiplication data corresponding to the product of the third weight data and the third input data, and the first addition circuit outputs the first addition data.
  • the second adder circuit has a function of outputting the second added data
  • the third adder circuit has a function of outputting the third added data
  • the second adder circuit has a function of outputting the second added data.
  • the addition data is data corresponding to the sum of the second multiplication data and the first addition data
  • the first addition data is data including the first multiplication data and the third addition data.
  • a programmable switch element is provided between first to third arithmetic circuits, and the programmable switch element switches electrical connection between the first to third arithmetic circuits by switching context signals.
  • a functional neural network circuit is preferred.
  • each of the first to third memories includes a transistor, and the transistor is preferably a neural network circuit that includes an oxide semiconductor in a channel formation region.
  • the first to third addition data is preferably a neural network circuit that is data used for convolution operation processing or full-join operation processing.
  • the first arithmetic circuit includes a fourth register
  • the second arithmetic circuit includes a fifth register
  • the third arithmetic circuit includes a sixth register.
  • the fourth register has a function of holding the first addition data or the first multiplication data
  • the fifth register has a function of holding the second addition data or the second multiplication data.
  • the sixth register is preferably a neural network circuit having a function of holding the third addition data or the third multiplication data.
  • the neural network circuit of one embodiment of the present invention is preferably a neural network circuit having a circuit that performs activation function processing and a circuit that performs pooling calculation processing.
  • One embodiment of the present invention can provide a neural network circuit having a novel configuration.
  • a novel neural network circuit that can suppress an increase in circuit scale can be provided.
  • a novel neural network circuit which can perform product-sum operations of different processes using the same circuit can be provided.
  • the block diagram for demonstrating a neural network circuit The block diagram for demonstrating a neural network circuit.
  • the block diagram for demonstrating a neural network circuit The block diagram for demonstrating a neural network circuit.
  • the block diagram for demonstrating a neural network circuit The block diagram for demonstrating a neural network circuit.
  • the block diagram for demonstrating a neural network circuit The block diagram for demonstrating a neural network circuit.
  • the block diagram for demonstrating a neural network circuit The block diagram for demonstrating a neural network circuit.
  • the block diagram for demonstrating a neural network circuit The block diagram for demonstrating a neural network circuit.
  • the block diagram for demonstrating a neural network circuit The block diagram for demonstrating a neural network circuit.
  • the block diagram for demonstrating a neural network circuit The block diagram for demonstrating a neural network circuit.
  • the block diagram for demonstrating a neural network circuit The block diagram for demonstrating a neural network circuit.
  • the block diagram for demonstrating a neural network circuit The block diagram for demonstrating a neural network circuit.
  • the block diagram for demonstrating a neural network circuit The block diagram for demonstrating a neural network circuit.
  • the block diagram for demonstrating a neural network circuit The block diagram for demonstrating a neural network circuit.
  • the block diagram for demonstrating a neural network circuit The block diagram for demonstrating a neural network circuit.
  • the block diagram for demonstrating a neural network circuit The block diagram for demonstrating a neural network circuit.
  • the block diagram for demonstrating a neural network circuit The perspective schematic diagram which shows the structural example of IC incorporating a neural network system.
  • C A circuit diagram showing a configuration example of a memory cell.
  • the functional block diagram which shows the structural example of NOSRAM.
  • AE A circuit diagram showing a configuration example of a memory cell.
  • the ordinal numbers “first”, “second”, and “third” are attached to avoid confusion between the constituent elements. Therefore, the number of components is not limited. Further, the order of the components is not limited. Further, for example, a component referred to as “first” in one embodiment of the present specification or the like is a component referred to as “second” in another embodiment or in the claims. It is also possible. In addition, for example, the constituent elements referred to as “first” in one embodiment of the present specification and the like may be omitted in other embodiments or in the claims.
  • neural network refers to all models that imitate the neural network of a living organism, determine the connection strength between neurons by learning, and have problem solving ability.
  • the neural network has an input layer, an intermediate layer (also referred to as a hidden layer), and an output layer.
  • a neural network having two or more intermediate layers is called a deep neural network. Learning by a deep neural network is called “deep learning”.
  • a circuit capable of executing a neural network by hardware is called a neural network circuit.
  • determining the connection strength (also referred to as a weighting factor) between neurons from existing information may be referred to as “learning”.
  • the construction of a neural network using the connection strength obtained by learning and deriving a new conclusion therefrom may be referred to as “inference”.
  • the neural network circuit that is one embodiment of the present invention can efficiently perform a product-sum operation. Therefore, application to a convolutional neural network with a high frequency of product-sum operations is very effective.
  • the product-sum operation is an operation of adding and adding data obtained by multiplication.
  • FIG. 1 is a block diagram of a data processing circuit 10 having a neural network circuit.
  • the data processing circuit 10 includes an interface 11, a clock generation circuit 12, a master controller 13, a data driver 14, a word driver 15, and a neural network circuit 20.
  • the neural network circuit 20 includes a memory controller 21, a memory 22, an arithmetic unit 23, a data input / output circuit 24, and an arithmetic unit 30.
  • the calculation unit 30 includes a register circuit 31 and a product-sum calculation circuit 40.
  • the product-sum operation circuit 40 includes a plurality of operation circuits 50 and an adder circuit 41.
  • a programmable switch element (PSE) for switching electrical connection between the arithmetic circuits is provided between the arithmetic circuits.
  • the master controller 13 has a function of receiving the control signal control signal from the outside of the data processing circuit 10 and controlling the entire data processing circuit 10. Specifically, operation control of the data driver 14 and the word driver 15, control of the memory controller 21, control of context switching in the neural network circuit 20, and the like are performed.
  • the clock generation circuit 12 generates a clock signal used for circuit operation of the master controller 13 and the like based on the reference clock signal clk received by the interface 11.
  • the interface 11 has a function of receiving the reference clock signal clk and the data signal data from the outside of the data processing circuit 10.
  • the interface 11 has a function of converting a signal suitable for transmission / reception.
  • an interface such as LVDS (Low Voltage Differential Signaling) or MIPI (Mobile Industry Processor Interface) can be used.
  • the data driver 14 has a function of generating a data signal for writing into the memory of the arithmetic circuit 50.
  • the word driver 15 has a function of generating a control signal (for example, a word signal) for writing data into the memory of the arithmetic circuit 50.
  • the product-sum operation circuit 40 is a circuit that performs product-sum operation.
  • the product-sum operation circuit 40 can switch between a plurality of types of operation processing under the control of the master controller 13. Therefore, while using the same circuit resource, it is possible to select and calculate the optimum arithmetic processing according to the input data.
  • the switching of arithmetic processing in the product-sum arithmetic circuit 40 will be described in detail with reference to FIGS.
  • the data signal data input via the interface 11 is held in the register circuit 31.
  • Data stored in the register circuit 31 can be stored in the memory 22 at a desired timing.
  • Data obtained during calculation in the neural network circuit 20 can be stored in the memory 22.
  • the memory 22 may be an SRAM (Static Random Access Memory).
  • the data stored in the register circuit 31 can be used for calculation by the neural network circuit 20 at a desired timing.
  • the data stored in the register circuit 31 can be subjected to desired processing by the arithmetic unit 23 at desired timing.
  • the arithmetic unit 23 is a circuit that performs pooling arithmetic processing and arithmetic operation using an activation function when performing arithmetic processing using a convolutional neural network.
  • an activation function for example, a sigmoid function, a normalized linear unit (ReLU), a hyperbolic tangent (tanh) function, or a step function can be applied.
  • the data input / output circuit 24 is a circuit that outputs the calculation result obtained by the calculation in the data processing circuit 10 to the outside of the data processing circuit 10 as data out.
  • Each of the plurality of arithmetic circuits 50 included in the product-sum arithmetic circuit 40 includes a register circuit that holds input data.
  • Each of the plurality of arithmetic circuits has a memory for storing weight data corresponding to the coupling strength (also referred to as a weight coefficient). The weight data can be switched according to a context signal for switching the context. The memory storing the weight data can output the corresponding weight data by decoding the context signal.
  • Each of the plurality of operation circuits 50 included in the product-sum operation circuit 40 includes a multiplication circuit that generates multiplication data corresponding to the product of the weight data and the input data. Multiplication data is obtained in the multiplication circuit.
  • Each of the plurality of arithmetic circuits 50 included in the product-sum arithmetic circuit 40 includes an adder circuit.
  • the adder circuit can obtain added data by adding the multiplication data obtained by the multiplication circuit to the data obtained by another arithmetic circuit 50.
  • Each of the plurality of arithmetic circuits 50 included in the product-sum arithmetic circuit 40 has a register for holding multiplication data and addition data. The data held in the register is output to another arithmetic circuit 50 at a predetermined timing.
  • the product-sum operation circuit 40 executes the product of different weighting factors and input data for each operation circuit 50 by switching the input / output of data between the above-described operation circuits, and obtained by another operation circuit 50.
  • the sum-of-products operation can be executed by adding the addition data and the previously obtained multiplication data.
  • a large number of product-sum operations can be efficiently performed by arranging a plurality of arithmetic circuits 50 in series and shifting the obtained data one after another.
  • the product-sum operation circuit 40 having the operation circuit 50 simultaneously processes the multiplication data and the addition data between the operation circuits 50 in the input data held in the plurality of operation circuits 50 as in the pipeline processing of the processor,
  • the product-sum operation can be executed by shifting the multiplication data and the addition data among the plurality of arithmetic circuits 50. Therefore, when performing arithmetic processing by product-sum operation with limited hardware, it is possible to efficiently execute massively parallel data processing with less circuit resources.
  • FIG. 2A is a block diagram for illustrating an example of the arithmetic circuit 50 included in the product-sum arithmetic circuit 40.
  • the arithmetic circuit includes an input register 51, a memory 52, a multiplier circuit 53, an adder circuit 54, an output register 55A, and an output register 55B.
  • the input signal sin is input to the input register 51.
  • the input register 51 outputs an output signal sout.
  • the input register 51 outputs the input data sdata to the multiplication circuit 53.
  • the memory 52 receives the context signal context.
  • the memory 52 has a data set corresponding to the context.
  • the data set is data corresponding to a plurality of weight data used for product-sum operation processing.
  • the memory outputs one weight data as the weight data cmout from the plurality of weight data corresponding to the context according to the context signal.
  • the plurality of weight data stored in the memory 52 is effective when calculating while changing the context, for example, when the number of filters used in the convolution calculation process is large. By performing the operation while changing the context, it is possible to perform multiplication under various conditions using one multiplication circuit.
  • the multiplication circuit 53 generates multiplication data mout by multiplying the input data sdata and the weight data cmout.
  • the multiplication data mout is output to the addition circuit 54.
  • the multiplication data mout held in the output register 55A is output as an output signal out1 to another arithmetic circuit 50.
  • the multiplication data mout is output via the output register 55A, and the multiplication data mout can be transmitted to another arithmetic circuit 50 at the next timing after the multiplication. Further, it is possible to prevent the calculation result from being erroneous due to the signal delay.
  • the output signal out1 is input as input addition data ain by another arithmetic circuit 50.
  • Signal input / output switching can be realized by arranging programmable switch elements between the arithmetic circuits 50. By controlling the programmable switch element, a desired wiring can be connected and a signal can be input / output between arithmetic circuits at a desired timing.
  • the addition circuit 54 generates addition data aout by adding the multiplication data mout to the input addition data ain.
  • the addition data aout is output to the output register 55B.
  • the addition data aout held in the output register 55B is output to another arithmetic circuit 50 as the output signal out2. With the configuration in which the addition data aout is output via the output register 55B, it is possible to prevent an error in the calculation result due to signal delay.
  • the output signal out2 is input as input addition data ain by another arithmetic circuit 50.
  • Signal input / output switching can be realized by arranging programmable switch elements between the arithmetic circuits 50. By controlling the programmable switch element, a desired wiring can be connected and a signal can be input / output between arithmetic circuits at a desired timing.
  • the memory 52 is a non-volatile memory.
  • an OS memory using a transistor (OS transistor) having an oxide semiconductor (OS) in a channel formation region is effective.
  • OS memory examples include DOSRAM and NOSRAM.
  • DOSRAM (registered trademark) is an abbreviation for “Dynamic Oxide Semiconductor RAM” and refers to a RAM having 1T (transistor) 1C (capacitance) type memory cells.
  • DOSRAM is a memory that utilizes the low off-state current of an OS transistor.
  • DOSRAM is a DRAM formed using an OS transistor.
  • the DOSRAM includes a memory cell including an OS transistor and a reading circuit unit including a Si transistor. Since the memory cell and the read circuit portion can be provided in different stacked layers, DOSRAM can reduce the entire circuit area. The details of DOSRAM will be described in Embodiment 3 to be described later.
  • the number of input data and the number of filters may exceed 1000.
  • the SRAM has a limited bus width and circuit area, and has a small storage capacity. Therefore, the input data must be stored in small portions. Since DOSRAM can be stacked even with a limited circuit area, memory cells can be arranged in a highly integrated manner.
  • NOSRAM Nonvolatile Oxide Semiconductor RAM
  • 2T type, 3T type a gain cell type
  • NOSRAM is a memory that utilizes the low off-state current of the OS transistor.
  • NOSRAM is a memory using an OS transistor. NOSRAM consumes less power when writing data than other non-volatile memories such as flash memory, ReRAM (Resistive Random Access Memory), and MRAM (Magnetic Responsive Random Access Memory). Further, unlike the flash memory and the ReRAM, the element is not deteriorated when data is written, and the number of times data can be written is not limited. Further, unlike the flash memory and the ReRAM, there is no problem of cell-to-cell variation due to deterioration of the element. Further, unlike a two-terminal memory such as a flash memory or a ReRAM, a circuit for writing and reading is not complicated. Details of NOSRAM will be described in Embodiment 3 described later.
  • NOSRAM can hold multi-value data of 2 bits or more in addition to 1-bit binary data. NOSRAM can reduce the memory cell area per bit by holding multilevel data. Moreover, NOSRAM can hold analog data in addition to digital data. Since NOSRAM can hold analog data as it is, no D / A conversion circuit or A / D conversion circuit is required. Therefore, NOSRAM can reduce the area of the peripheral circuit.
  • the arithmetic circuit 50 is not limited to the configuration shown in FIG. A configuration shown in FIG.
  • the arithmetic circuit 50 illustrated in FIG. 2B integrates the output registers 55A and 55B in the configuration of FIG.
  • a switching circuit 56 also referred to as a multiplexer
  • the addition data aout or the multiplication data mout can be switched and output as the output signal out.
  • FIG. 3A illustrates the block diagram of the arithmetic circuit 50 described in FIGS. 2A and 2B in more detail.
  • the arithmetic circuit 50 shown in FIG. 3A shows a switching circuit 56A, a memory circuit 57A, a switching circuit 56B, and a memory circuit 57B in addition to the configuration described in FIGS. 2A and 2B.
  • the switching circuit 56A is a circuit for controlling whether the input signal sin is output as the multiplication circuit 53 as the input data sdata or whether the data held in the input register 51 is output.
  • the memory circuit 57A has a function of switching electrical connection in the switching circuit 56A in response to switching of the context signal context.
  • the switching circuit 56B is a circuit for controlling whether to output the multiplication data mout, the addition data aout, or the input addition data ain as the output signal out1 or out2.
  • the memory circuit 57B has a function of switching the electrical connection in the switching circuit 56B in accordance with the switching of the context signal context.
  • 3A shows a set signal set and a reset signal reset that control the input register 51, the output register 55A, and the output register 55B. Since the multiplication data mout or the addition data aout or the like can be output at a predetermined timing in accordance with the control by the set signal set and the reset signal reset, it is possible to prevent the calculation result from being erroneous due to the signal delay. .
  • FIG. 3A also shows configuration data configuration data and word signal word for controlling writing of weight data held in the memory 52.
  • the weight data set for each arithmetic circuit 50 can be individually rewritten.
  • FIG. 3B illustrates the block diagram of the arithmetic circuit 50 described in FIG. 3A in more detail.
  • a power switch (PS) 58 and a memory circuit 57C are illustrated in addition to the structure described in FIG.
  • the memory circuit 57C can switch the power switch 58 on or off in accordance with the switching of the context signal context.
  • FIG. 4 shows a configuration example of the memory circuit 57A.
  • the memory circuit 57A includes memory cells 96_0 and 96_1 and transistors 97_0, 97_1, and 98. Configuration data, switching signals context_A0 and context_A1, and signals wordA0, wordB0, wordA1 and wordB1 are input to the memory circuit 57A.
  • Each of the memory cells 96_0 and 96_1 includes two memory circuits functioning as NOSRAMs.
  • the signal wordA0 is set to “H”
  • the signals wordB0, wordA1, and wordB1 are set to “L”.
  • the signal wordB0 is set to “H”
  • the signals wordA0, wordA1, and wordB1 are set to “L”.
  • the transistor 98 While the control signal is output to the switching circuit 56A, the transistor 98 is in the off state.
  • One of the transistors 97_0 and 97_1 is turned on by the switching signals context_A0 and context_A1. For example, when the transistor 97_0 is turned on, a logic control signal corresponding to the data held in the memory cell 96_0 is output to the switching circuit 56A.
  • the memory circuits 57B and 57C have the same circuit configuration as the memory circuit 57A.
  • FIG. 5A in order to clearly indicate that the multiplication data mout illustrated in the block diagram of the arithmetic circuit 50 described in FIG. 2 is data obtained by multiplication of the input data sdata and the weight data cmout, “sdata * Cmout ".
  • the addition data aout illustrated in the block diagram of the arithmetic circuit 50 described in FIG. 2 is data obtained by adding the multiplication data mout to the input addition data ain. , “Ain + (sdata * cmout)”.
  • FIG. 5B shows symbols when the arithmetic circuit 50 is abbreviated and illustrated.
  • an arrow directed to the arithmetic circuit 50 represents data input to the arithmetic circuit 50, that is, input signal sin (or input data sdata) and input addition data ain.
  • the arrow pointing backward from the arithmetic circuit 50 indicates data output from the arithmetic circuit 50, that is, output signals out1 and out2 (or may be multiplication data mout and addition data aout), It represents the output signal sout.
  • FIG. 5B The notation in FIG. 5B will be described in more detail with reference to FIGS.
  • FIG. 6A is a diagram showing a case where a plurality of arithmetic circuits 50_1 to 50_n (n is a natural number of 2 or more) illustrated as symbols in FIG. 5B are arranged in the horizontal direction (also referred to as row direction).
  • FIG. 6B is a simplified configuration of the switching circuits 55A and 55B and the output registers 55A and 55B of the arithmetic circuit 50 illustrated in FIG. 3A when arranged as in FIG. 6A. It is a figure demonstrated using a thing.
  • FIGS. 6A and 6B illustrate operations in the case where the generation of multiplication data and the generation of addition data are processed in parallel in the plurality of arithmetic circuits 50_1 to 50_n.
  • data input / output between the arithmetic circuits is represented by arrows in FIG.
  • arithmetic circuit 50_1 and the arithmetic circuit 50_2 output data output from the arithmetic circuit 50_1 is input as input addition data of the arithmetic circuit 50_2.
  • output data output from the arithmetic circuit 50_2 is input as input addition data of the arithmetic circuit 50_3.
  • output data output from the arithmetic circuit 50_n is input as input addition data of the arithmetic circuit 50_1. That is, a plurality of arithmetic circuits 50_1 to 50_n perform arithmetic processing for generating multiplication data of different input data and different weight data for each arithmetic circuit and adding the multiplication data to input addition data input from the preceding arithmetic circuit. Can be processed in parallel.
  • FIG. 7A is a diagram illustrating a case where a plurality of arithmetic circuits 50_1 to 50_3 illustrated as symbols in FIG. 5B are arranged in the vertical direction (also referred to as column direction).
  • FIG. 7B shows a simplified arrangement of the switching circuits 55A and 55B and the output registers 55A and 55B of the arithmetic circuit 50 shown in FIG. 3A in the case of the arrangement shown in FIG. 7A. It is a figure demonstrated using a thing.
  • FIGS. 7A and 7B illustrate operations in the case where input data is written to the input register circuit of each of the arithmetic circuits 50_1 to 50_3 through another arithmetic circuit.
  • data inputted / outputted between the arithmetic circuits is shown as an arrow in FIG.
  • the output signal sout output from the arithmetic circuit 50_1 is input as the input signal sin of the arithmetic circuit 50_2.
  • the output signal sout output from the arithmetic circuit 50_2 is input as the input signal sin of the arithmetic circuit 50_3. That is, a signal can be input to an arithmetic circuit electrically connected through the arithmetic circuit.
  • FIG. 8A is a diagram illustrating a case where a plurality of arithmetic circuits 50_1 to 50_3 illustrated as symbols in FIG. 5B are arranged in a vertical direction (also referred to as a column direction), as in FIG. 7A. is there.
  • 8B is a simplified configuration of the switching circuits 55A and 55B and the output registers 55A and 55B of the arithmetic circuit 50 illustrated in FIG. 3A in the case of the arrangement shown in FIG. 8A. It is a figure demonstrated using a thing.
  • FIGS. 8A and 8B show the output of the product-sum operation data to the adder circuit 41 by the generation of the multiplication data and the addition data shown in FIGS. 7A and 7B. The operation in the case of performing through the arithmetic circuit is shown.
  • data input / output between arithmetic circuits is represented by arrows in FIG.
  • the output signals out1 and out2 output from the arithmetic circuit 50_1 are input to the arithmetic circuit 50_2 without passing through the adder circuit 54 by switching the switching circuit 56. It is input as the addition data signal ain.
  • the output signals out1 and out2 output from the arithmetic circuit 50_2 are switched as the input addition data signal ain of the arithmetic circuit 50_3 without passing through the addition circuit 54 by switching the switching circuit 56. Entered. That is, a signal can be transferred to an arithmetic circuit electrically connected through the arithmetic circuit.
  • the operation of the neural network circuit will be described with reference to FIGS. Specifically, the operation of the neural network circuit when performing the arithmetic processing of the convolutional neural network, particularly the product-sum operation processing between the arithmetic circuits will be described in detail.
  • FIG. 9A shows the flow of arithmetic processing of the convolutional neural network.
  • FIG. 9A illustrates an input layer 61, an intermediate layer 62 (also referred to as a hidden layer), and an output layer 63.
  • an input data input process 70 shown as Input in the figure
  • the intermediate layer 62 convolution calculation processes 72, 73, and 75 (shown as Conv in the figure) and a plurality of pooling calculation processes 74 and 76 (shown as Pool. In the figure) are illustrated.
  • a full coupling calculation process 77 (shown as Full in the figure) is illustrated.
  • the flow of arithmetic processing in the input layer 61, the intermediate layer 62, and the output layer 63 is an example, and other arithmetic processing such as softmax arithmetic may be performed in the arithmetic processing of an actual convolution neural network.
  • FIG. 9B visualizes and illustrates the arithmetic processing performed when the convolutional neural network illustrated in FIG. 9A is performed using the data processing circuit 10 of FIG.
  • the input data 71 is subjected to product-sum operation with the filter 82 and convolved (convolution arithmetic processing 72).
  • the input data 71 is illustrated as an example of data in which 20 (vertical direction) ⁇ 20 (horizontal direction) and channel direction (depth direction) is 1.
  • the calculation processing performed using the data processing circuit 10 of FIG. 1 is a data set in which a correct answer label is given to MNIST (Mixed National Institute of Standards and Technology database: handwritten numbers “0 to 9”) as input data 71 ) Is assumed to be a convolutional neural network (CNN).
  • symbol 81 represents a product-sum operation, here a product-sum operation of input data 71 and filter 82.
  • the filter 82 for performing the convolution operation processing 72 is composed of nine 3 ⁇ 3 filters (illustrated as 3 ⁇ 3 Fil. 9 in the figure), and the stride is 1. Zero padding is not performed.
  • the data obtained by performing the product-sum operation on the input data 71 and the filter 82 is processed by the ReLU in the operation unit 23 outside the product-sum operation circuit 40 to obtain data 84.
  • the data 84 becomes 18 ⁇ 18 9-channel data by the convolution operation processing 72.
  • symbol 83 represents processing by a normalized linear function (Rectified Linear Unit) which is an activation function, here, processing by ReLU is performed on data obtained by product-sum operation.
  • the data 84 is subjected to a product-sum operation with the filter 85 to perform a convolution operation process 73.
  • the filter 85 for performing the convolution operation process 73 is composed of 3 ⁇ 3 81 filters (shown as 3 ⁇ 3 Fil. 81 in the figure).
  • Data obtained by performing the product-sum operation on the data 84 and the filter 82 is processed by the ReLU in the operation unit 23 outside the product-sum operation circuit 40 to obtain data 86.
  • the data 86 becomes 16 ⁇ 16 9-channel data by the convolution operation processing 73.
  • the data 86 is subjected to pooling calculation processing 74 in the calculation unit 23 outside the product-sum calculation circuit 40.
  • max pooling is performed as an example.
  • the pooling calculation process 74 is performed using a 2 ⁇ 2 size filter.
  • the data that has been subjected to the pooling calculation processing is referred to as data 87.
  • the data 87 becomes 8 ⁇ 8 9-channel data by the pooling calculation processing 74.
  • the data 87 is subjected to a product-sum operation with the filter 88 and a convolution operation process 75 is performed.
  • the filter 88 for performing the convolution operation processing 75 is composed of 3 ⁇ 3 81 filters (shown as 3 ⁇ 3 Fil. 81 in the figure). Since the filter 88 has nine types of filters for each input channel, a total of 81 different filters are provided.
  • Data obtained by performing the product-sum operation on the data 87 and the filter 88 is processed by the ReLU in the operation unit 23 outside the product-sum operation circuit 40 to obtain data 89.
  • the data 89 becomes 6 ⁇ 6 9-channel data by the convolution operation processing 75.
  • the data 89 is subjected to pooling calculation processing 76 in the calculation unit 23 outside the product-sum calculation circuit 40.
  • max pooling is performed as an example.
  • the pooling calculation process 76 is performed with a 2 ⁇ 2 size filter.
  • the data that has been subjected to the pooling calculation processing is referred to as data 90.
  • Data 90 becomes 3 ⁇ 3, 9-channel data, and 81 data by pooling calculation processing 76.
  • the data 90 is subjected to a sum-of-products operation with the weight parameter 91 to perform a full join operation processing 77.
  • the data that has undergone all-join calculation processing 77 is referred to as data 92.
  • the data 92 becomes 10 pieces of data by the all-join calculation processing 77.
  • FIG. 10A shows the product-sum operation circuit 40 also shown in FIG.
  • arithmetic circuits 50 necessary for performing the convolution arithmetic processing 72, 73, and 75 are illustrated in a matrix.
  • FIG. 10A also shows the adder circuit 41.
  • FIG. 10B illustrates the programmable switch element PSE between the arithmetic circuits 50.
  • the programmable switch element PSE may be configured by combining a configuration memory and a switch.
  • As the configuration memory a memory using an SRAM or an OS transistor can be used.
  • a programmable switch element using an OS transistor is advantageous in terms of integration because elements such as transistors can be stacked.
  • FIG. 11A the convolution operation processing 72 described in FIG. 9B is extracted.
  • FIG. 11B is a diagram in which the input data 71 is visualized.
  • D 11 to D 1k are illustrated as data in the row direction (horizontal direction), and D 11 to D k1 are illustrated as data in the column direction (vertical direction).
  • 11 data surrounded by (B) medium thick line D 11 to D 33 i.e., nine of D 11, D 12, D 13 , D 21, D 22, D 23, D 31, D 32, D 33 is Data representing a product-sum operation with a 3 ⁇ 3 filter is shown.
  • the input data 71 shown in FIG. 11B is not limited to the input data 71, and the data obtained by performing the convolution operation processing on the input data such as the data 84, 86, 87, and 89 described with reference to FIG. It can be illustrated as well. Therefore, the data 84, 86, 87 and 89 may be referred to as input data.
  • FIG. 11C is a diagram in which a filter used in the filter 82 is visualized.
  • the nine channels can be represented by filters 82_1 to 82_9 (F1 to F9), which are 3 ⁇ 3 filters as shown in FIG.
  • the filter 82_1 has 3 ⁇ 3 weight data.
  • the weight data w 1 to w 9 are illustrated.
  • filter 82 Note that not only the filter 82 but also other filters such as filters 85, 88, and 91 described with reference to FIG. It can be illustrated as well.
  • the convolution calculation processing 72 is performed using a 9 ⁇ 9 calculation circuit 50 in the product-sum calculation circuit 40 shown in FIG. 10A as shown in FIG.
  • the arithmetic circuits 50 are arranged vertically and horizontally, and the row direction and the column direction are also illustrated.
  • the row direction is a shift direction of image data that is input data.
  • the column direction is a direction of shift of multiplying data obtained by multiplication of input data and weight data (multiple data shift).
  • the weighting data w 1 to w 9 of the filter F1, that is, the filter 82_1 are set for each column in the arithmetic circuit 50 in the first row in the row direction.
  • the weight data is set in order such as w 1 in the arithmetic circuit 50 in the first row and first column, w 2 in the arithmetic circuit 50 in the first row and second column, and w 3 in the arithmetic circuit 50 in the first row and third column.
  • the setting can be performed by context switching by a context signal.
  • the filter F2 is set in the arithmetic circuit 50 in the second row in the row direction.
  • the weight data of the filters F3 to F9 are set in the arithmetic circuits 50 in the third to ninth rows in the row direction.
  • the context “1” is set to the above weight data set.
  • D 11 ⁇ W 1 which is a multiplication result is generated. It is sequentially shifted in the column direction. Further, the first row and first column of the input data D 11 shifts in the row direction at the next timing. Then, similarly to the first row, the multiplication data is shifted in the column direction.
  • the weight data of the filter F2, that is, the filter 82_2 is set in the arithmetic circuit 50 in the second row, and the weight data of the filter F2 and the multiplied data of the input data are shifted in the column direction.
  • the input data is also shifted from the second row onward, and the multiplication data of the set filters F3 to F9, that is, the weight data of the filters 82_3 to 82_9, and the input data is generated and shifted in the column direction.
  • the arithmetic circuit 50 in the ninth column of the first to ninth rows obtains output data corresponding to the product-sum operation of any one of the filters (F1 to F9) and the input data.
  • the terminals in the ninth column of the first to ninth rows are illustrated as out1 to out9.
  • FIG. 12A can be summarized as shown in FIG. 12B.
  • the context signal context is 1 in order to fix in the context.
  • Filter A product-sum operation (In ⁇ F1) with F1 is obtained at out1.
  • 3 ⁇ 3 input data D 11 to D 33 data surrounded by a thick line in FIG. 11B
  • filters F 2 to F 9 are used in the arithmetic circuit 50 in the first column and the ninth column.
  • Input data 71 is inputted to the row direction data D 12 to D 14, the input data D 22 to D 24, and the input data D 22 to D 24 (i.e., D 12, D 13, D 14, D 22, D 23, By shifting as 9 of D 24 , D 32 , D 33 , and D 34 ), the multiplication data with the filters F 1 to F 9 can be obtained between all the coordinates of the input data 71.
  • FIG. 13A is a diagram visualizing the input data held in the arithmetic circuit 50 at time T0.
  • the arrow in the row direction represents the shift direction of the input data.
  • the arrow in the column direction represents the shift direction of the multiplication data.
  • “BL” in the drawing represents the arithmetic circuit 50 in the shift direction of the input data of the arithmetic circuit to which the input data is input.
  • an arithmetic circuit 50 shown as a blank is an arithmetic circuit 50 that has no shift of input data from the arithmetic circuit 50 in the preceding row, and is an arithmetic circuit 50 capable of power gating.
  • D 11 is input as input data to the first row and first column of the arithmetic circuit 50.
  • the arithmetic circuit 50 in the first row and first column generates multiplication data with the weight data w 1 held by context switching.
  • FIG. 13B is a diagram visualizing the input data held in the arithmetic circuit 50 at time T1.
  • 1 row and first column of the input data D 11 is inputted to the arithmetic circuit 50 of the second row and first column is shifted.
  • the input data D 12 is inputted to the first row and first column and first row second column arithmetic circuit 50.
  • generates a multiplication data the weight data w 2 held by multiplying data, the input data D 12 and context switching between the weight data w 1 held by the input data D 12 and context switching.
  • Generating multiplication data with the weight data of the input data D 11 and the filter F2 are carried out simultaneously.
  • FIG. 14A is a diagram visualizing the input data held in the arithmetic circuit 50 at time T2.
  • 2 row and first column of the input data D 11 is inputted to the arithmetic circuit 50 of the third row first column is shifted.
  • the first row and first column, first row and second column, and 1 row and third column input data D 13 to the arithmetic circuit 50 is input.
  • the product data of the weight data w 1 held by the input data D 13 and context switching, the multiplier data, and the input data D 13 and context switching between the weight data w 2 held by the input data D 13 and context switching Multiplication data with the weight data w 3 held is generated.
  • Generating multiplication data with the weight data of the input data D 11 and the filter F3 simultaneously generating multiplication data with the weight data of the input data D 12 and the filter F2 are carried out. Note at time T2, the first row third column of the arithmetic circuit 50, the sum data generated at time T2, adding the multiplication data of the input data D 13 and the weight data w 3 obtained is added at time T2 Data shifts in the column direction.
  • FIG. 14B is a diagram visualizing the input data held in the arithmetic circuit 50 at time T3.
  • the input data D 11 of three rows and one column is input to the arithmetic circuit 50 is shifted 4 row and first column.
  • the inputted respectively second row and first column of the input data D 12, and the second row and second column of the input data D 12 is shifted to the third row first column arithmetic circuit 50,3 row and second column of the arithmetic circuit 50
  • the first row and first column of D 13, first row second column of the input data D 13, and 1 row and third column of the input data D 13 is shifted second row and first column of the arithmetic circuit 50, 2 rows and 2 columns
  • the data is input to the second arithmetic circuit 50 in the second row and the third column.
  • input data D 14 as input data is input to the arithmetic circuit 50 in the first row, first column, first row, second column, and first row and third column
  • D 21 is input to the arithmetic circuit 50 in the first row and fourth column.
  • Retention and multiplication data with the weight data w 1 held by the input data D 14 and context switching, the multiplier data, the input data D 14 and context switching between the weight data w 2 held by the input data D 14 and context switching Product data with the weight data w 3 to be generated and data with the input data D 21 and the weight data w 4 held by context switching are generated.
  • the state of time T8 shown in FIG. 15A is obtained by shifting the input data and shifting the data obtained by adding the multiplication data and the addition data.
  • multiplication data and addition data can be efficiently generated in each arithmetic circuit, and product-sum operation can be performed efficiently. Therefore, as the input data and weight data increase in the neural network circuit, an increase in circuit scale becomes a problem, but this problem can be solved. That is, the product resources can be effectively used because circuit-sum operations of different processes can be performed using the same circuit.
  • FIGS. 16 to 21 illustrate operations when performing the convolution operation processes 73 and 75 by the product-sum operation circuit 40 shown in FIG. 10A using the data shown in FIGS. 11B and 11C. It is a figure for doing.
  • 16A and 16B are obtained by extracting the convolution calculation processes 73 and 75 described in FIG. 9B.
  • the convolution calculation processes 73 and 75 are performed using the 9 ⁇ 9 calculation circuit 50 in the product-sum calculation circuit 40 shown in FIG. 16C, the arithmetic circuits 50 are arranged vertically and horizontally as in FIG. 12A, and the row direction and the column direction are illustrated.
  • the column direction is a shift (MAC data shift) direction of product-sum operation data obtained from input data (corresponding to data 84 or 87) and weight data (weight data included in the filter 85 or filter 88).
  • input data D 11 (hereinafter abbreviated as D 11 ) is input to the arithmetic circuit 50 in the first column, and input data is input to the arithmetic circuit 50 in the second column as D 12.
  • D 11 input data
  • D 11 to D 33 are set in each column as shown in FIG.
  • the arithmetic circuit 50 performs product-sum arithmetic processing in each input channel in the row direction. Accordingly, the first row is data corresponding to the input channel 1, the second row is data corresponding to the input channel 2, and the ninth row is data corresponding to the input channel 9.
  • the arithmetic circuit 50 in the first row in the row direction includes nine types of filters F10 to F18 (hereinafter abbreviated as F10 to F18) for calculating the input channel 1. Is set for each column. Multiplication data is obtained by multiplying a set of contexts, that is, a set of filters, and D 11 to D 33 set in advance, and the multiplication result is output to the arithmetic circuit 50 of the next column as addition data, and product-sum operation is performed. Is configured to execute.
  • the F10 weight data is stored in the first row and first column arithmetic circuit 50
  • the F11 weight data is stored in the first row and second column arithmetic circuit 50
  • the F12 weight data is stored in the first row and third column arithmetic circuit 50.
  • Set the weight data to.
  • the filter corresponding to the arithmetic circuit 50 is shifted in the column direction.
  • the filter corresponding to the arithmetic circuit 50 in the ninth column returns to the first column.
  • the F18 weight data is stored in the first row and first column arithmetic circuit 50
  • the F10 weight data is stored in the first row and second column arithmetic circuit 50
  • the F11 weight data is stored in the first row and third column arithmetic circuit 50.
  • the set weight data can be switched to the weight data of another filter by context switching.
  • the arithmetic circuit 50 in the second and subsequent rows also sets weight data according to the filter.
  • F19 weight data is applied to the arithmetic circuit 50 in the second row and first column
  • F20 weight data is input to the arithmetic circuit 50 in the second row and second column
  • F21 weight data is input to the arithmetic circuit 50 in the second row and third column.
  • Set the weight data to.
  • the filter corresponding to the arithmetic circuit 50 is shifted in the column direction.
  • the filter corresponding to the arithmetic circuit 50 in the ninth column returns to the first column.
  • the F27 weight data is stored in the second row and first column arithmetic circuit 50
  • the F19 weight data is stored in the second row and second column arithmetic circuit 50
  • the F20 weight data is stored in the second row and third column arithmetic circuit 50.
  • the set weight data can be switched to the weight data of another filter by context switching. Context switching is performed until the filter is shifted once for nine operation circuits. That is, switching from context 2 to context 10 is performed.
  • the product-sum operation data obtained by shifting the product-sum operation result is read to the adder circuit 41.
  • the adder circuit 41 adds the product-sum operation data in the same column.
  • the obtained data is processed by the ReLU in the operation unit 23 outside the product-sum operation circuit 40, and the data obtained by the convolution operation processing corresponds to the data.
  • FIG. 16C When performing a convolution calculation process 73 and 75, for performing the product-sum operation of the different filter and D 11 to D 33, switches the context signal context to 2 to 10. After D 11 to D 33 are set in the arithmetic circuit 50 at time T write 1 , the context signal is switched from 2 to 10 at time T 10 to T 18. After the product-sum operation of the 3 ⁇ 3 input data D 11 to D 33 and the nine filters is obtained by the arithmetic circuit 50 in each row and column, it is read out to the adder circuit 41 at time T read1 to perform the convolution arithmetic processing. obtaining went data (CH1-9 D 11 -D 33). Then, D 12 to D 34 are set as the next input data in each arithmetic circuit 50 (time T write2 ), the contexts 2 to 10 are switched, and the product-sum operation is executed in each row.
  • FIG. 17A is a diagram visualizing the input data held in the arithmetic circuit 50 at time T write1 .
  • D 11 to D 33 are set in each column.
  • a set of weight data is written in the memory 52 in the arithmetic circuit 50.
  • the set of weight data is switched in response to context switching.
  • FIG. 17B is a diagram visualizing the input data held in the arithmetic circuit 50 at time T10.
  • a filter for multiplication as context “2” is set in the arithmetic circuit 50 as shown in FIG.
  • the arrow in the column direction represents the shift direction of the multiplication data or the addition data obtained by adding the addition data of the previous column to the multiplication data.
  • “F10” or the like added between the arithmetic circuits 50 in the same row is a filter for performing a product-sum operation with the filter F10. The data obtained by the operation is added as the addition data to the operation circuit 50 in the data shift direction by adding the addition data in the preceding column.
  • description focuses on the operation of the arithmetic circuit 50 in the first row, the arithmetic circuit 50 of the first column D 11 was retained, it performs calculation of the filter F10.
  • the obtained data is output to the arithmetic circuit 50 in the second column.
  • the arithmetic circuit 50 in the second column of D 12 was retained, performs calculation of the filter F11.
  • the obtained data is output to the arithmetic circuit 50 in the third column.
  • the arithmetic circuits 50 in the third column to the eighth column also perform operations with the filters F12 to F17, respectively, and output the obtained data to the arithmetic circuit 50.
  • the arithmetic circuit 50 in the ninth column holding D 33 performs an operation with the filter F18.
  • the obtained data is output to the arithmetic circuit 50 in the first column.
  • the input data held in the second and subsequent rows and the filter are calculated and output to the calculation circuit 50.
  • FIG. 18A is a diagram visualizing input data held in the arithmetic circuit 50 at time T11.
  • the context signal is switched to set the filter for multiplication as the context “3” in the arithmetic circuit 50 as shown in FIG.
  • description focuses on the operation of the arithmetic circuit 50 in the first row, the arithmetic circuit 50 of the first column D 11 was retained, it performs calculation of the filter F18.
  • the obtained data is added to the data output from the arithmetic circuit 50 in the ninth column and output to the arithmetic circuit 50 in the second column.
  • the arithmetic circuit 50 in the second column of D 12 was retained, performs calculation of the filter F10.
  • the obtained data is added to the data output from the arithmetic circuit 50 in the first column and output to the arithmetic circuit 50 in the third column.
  • the arithmetic circuits 50 in the third column to the eighth column also perform operations with the filters F11 to F16, respectively, and output the obtained data to the arithmetic circuit 50.
  • the arithmetic circuit 50 in the ninth column holding D 33 performs an operation with the filter F17.
  • the obtained data is added to the data output from the arithmetic circuit 50 in the eighth column and output to the arithmetic circuit 50 in the first column.
  • the data held in the second and subsequent rows and the filter are calculated and output to the calculation circuit 50.
  • weight data to be multiplied by the following arithmetic circuit 50 is set as the context “3 to 9”, and the held input data and the filter are calculated. And output to the arithmetic circuit 50.
  • FIG. 18B is a diagram visualizing the input data held in the arithmetic circuit 50 at time T18.
  • a filter for multiplication in the arithmetic circuit 50 described below is set as shown in FIG. 18B as the context “10”.
  • description focuses on the operation of the arithmetic circuit 50 in the first row, the arithmetic circuit 50 of the first column D 11 was retained, it performs calculation of the filter F11.
  • the obtained data is added to the data output from the arithmetic circuit 50 in the ninth column and output to the arithmetic circuit 50 in the second column.
  • the data output to the arithmetic circuit 50 in the second column is data of product-sum operation obtained by adding the data multiplied by the arithmetic circuits 50 in the first column and the third to ninth columns.
  • the arithmetic circuit 50 in the second column of D 12 was retained, performs calculation of the filter F12.
  • the obtained data is added to the data output from the arithmetic circuit 50 in the first column and output to the arithmetic circuit 50 in the third column.
  • the data output to the arithmetic circuit 50 in the third column is the product-sum operation obtained by adding the data multiplied by the arithmetic circuits 50 in the first, second, and fourth to ninth columns. It is data.
  • the arithmetic circuits 50 in the third column to the eighth column also perform operations with the filters F13 to F18, respectively, and output the obtained data to the arithmetic circuit 50.
  • the arithmetic circuit 50 of the ninth column to D 33 performs an operation of the filter F10.
  • the obtained data is added to the data output from the arithmetic circuit 50 in the eighth column and output to the arithmetic circuit 50 in the first column.
  • the data output to the arithmetic circuit 50 in the first column is data of the product-sum operation obtained by adding the data multiplied by the arithmetic circuits 50 in the second to ninth columns.
  • the product-sum operation of the input data and the filter held in the second and subsequent rows is performed and output to the arithmetic circuit 50. That is, in the state at time T18, each arithmetic circuit 50 holds data obtained by product-sum operation between D 11 to D 33 and a plurality of filters in each row.
  • FIG. 19A is a diagram visualizing the operation at time Tread1 .
  • the arrow in the row direction represents the data shift direction by the product-sum operation obtained in T10 to T18.
  • data by product-sum operation held in the first to ninth rows is sequentially shifted to the addition circuit 41, and the sum of the obtained data is obtained for each column.
  • Data obtained by the adder circuit 41 is obtained by performing convolution operation processing on D 11 to D 33 by performing processing by ReLU in the operation unit 23 outside the product-sum operation circuit 40.
  • FIG. 19B is a diagram visualizing the input data held in the arithmetic circuit 50 at time Twrite2.
  • D 12 to D 34 are set in each column.
  • FIG. 20 is a diagram visualizing the input data held in the arithmetic circuit 50 at time T19.
  • a filter for multiplication in the arithmetic circuit 50 described below is set as shown in FIG. 20 as context “2”.
  • description focuses on the operation of the arithmetic circuit 50 in the first row, the arithmetic circuit 50 of the first column D 12 was retained, it performs calculation of the filter F10. The obtained data is output to the arithmetic circuit 50 in the second column.
  • the arithmetic circuit 50 in the second column of D 13 is held performs an operation of the filter F11.
  • the obtained data is output to the arithmetic circuit 50 in the third column.
  • the arithmetic circuits 50 in the third column to the eighth column also perform operations with the filters F12 to F17, respectively, and output the obtained data to the arithmetic circuit 50.
  • the arithmetic circuit 50 in the ninth column holding D 34 performs an operation with the filter F18.
  • the obtained data is output to the arithmetic circuit 50 in the first column.
  • the input data held in the second and subsequent rows and the filter are calculated and output to the calculation circuit 50.
  • filters (W 11 , W 12 , W 13 , W 14 ), (W 21 , W 22 , W 23 , W 24 ) having four different types of weight data, (W 31 , W 32 , W 33 , W 34 ), (W 41 , W 42 , W 43 , W 44 ) and product-sum operation of input data (I 1 , I 2 , I 3 , I 4 ) are performed.
  • the case will be described.
  • the product-sum operation can be performed in parallel while looping data obtained by a plurality of arithmetic circuits.
  • Equation (1) The product-sum operation (convolution operation) using a plurality of filters can be represented by a matrix-vector product as illustrated in Equation (1).
  • a 4 ⁇ 4 matrix composed of W corresponds to weight data (elements in each row correspond to components of each filter).
  • a 1 ⁇ 4 matrix composed of I corresponds to input data.
  • a 1 ⁇ 4 matrix composed of Y corresponds to data obtained by a product-sum operation.
  • the matrix-vector product of Equation (1) can be illustrated as shown in FIG. 21A when applied to an arithmetic model that performs a product-sum operation using the arithmetic circuit 50 described above. That is, the input data I 1 to I 4 are held as the input data 93 of each arithmetic circuit 50_A. Further, the filters (W 11 , W 12 , W 13 , W 14 ), (W 21 , W 22 , W 23 , W 24 ), (W 31 , W 32 , W 33 , W 34 ), (W 41 , W 42).
  • each arithmetic circuit 50A is written in the memory of each arithmetic circuit 50A, and can be used as different weight data 94_1 to 94_4 to generate multiplication data according to context switching. In the following description, it is assumed that the calculation process proceeds every clock (1 clk).
  • arbitrary weight data from the set of weight data is set by context switching. Specifically, the underlined weight data (W 11 , W 22 , W 33 , W 44 ) illustrated in FIG. 21B is set, and the input data (I 1 ) held in each arithmetic circuit 50_A is set. , I 2 , I 3 , I 4 ). Each arithmetic circuit 50_A, generates a multiplied data of the input data 93 and weight data 94_1 (W 11 ⁇ I 1, W 22 ⁇ I 2, W 33 ⁇ I 3, W 44 ⁇ I 4).
  • FIG. 21C which is 1 clk after the state of FIG. 21B, it is set by context weight data different from that in FIG. Specifically, the underlined weight data (W 41 , W 12 , W 23 , W 34 ) illustrated in FIG. 21C is set, and the input data (I 1 ) held in each arithmetic circuit 50_A. , I 2 , I 3 , I 4 ). Each arithmetic circuit 50_A generates multiplication data (W 41 ⁇ I 1 , W 12 ⁇ I 2 , W 23 ⁇ I 3 , W 34 ⁇ I 4 ) of the input data 93 and the weight data 94_2.
  • the weight data is set by context weight data different from that in FIG. Specifically, the underlined weight data (W 31 , W 42 , W 13 , W 24 ) illustrated in FIG. 21D is set, and the input data (I 1 ) held in each arithmetic circuit 50_A is set. , I 2 , I 3 , I 4 ).
  • each arithmetic circuit 50_A generates multiplication data (W 31 ⁇ I 1 , W 42 ⁇ I 2 , W 13 ⁇ I 3 , W 24 ⁇ I 4 ) of the input data 93 and the weight data 94_3.
  • each arithmetic circuit 90_A the multiplication data (W 41 ⁇ I 1 , W 12 ⁇ I 2 , W 23 ⁇ I 3 , W 34 ⁇ I 4 ) is added to the addition data (W 11 ⁇ I 1 , W 22 ⁇ I 2 , W 33 ⁇ I 3 , W 44 ⁇ I 4 ) added to the product-sum operation data (W 12 ⁇ I 2 + W 11 ⁇ I 1 , W 23 ⁇ I 3 + W 22 ⁇ I 2 , W 34 ⁇ I 4 + W 33 ⁇ I 3 , W 41 ⁇ I 1 + W 44 ⁇ I 4 ) are output to the next column arithmetic circuit 50_A as addition data for the next column.
  • FIG. 21E which is 1 clk after the state of FIG. 21D, it is set by context weight data different from that in FIG. Specifically, the underlined weight data (W 21 , W 32 , W 43 , W 14 ) illustrated in FIG. 21E is set, and the input data (I 1 ) held in each arithmetic circuit 50_A. , I 2 , I 3 , I 4 ).
  • each arithmetic circuit 50_A generates multiplication data (W 21 ⁇ I 1 , W 32 ⁇ I 2 , W 43 ⁇ I 3 , W 14 ⁇ I 4 ) of the input data 93 and the weight data 94_4.
  • each arithmetic circuit 90_A the multiplication data (W 31 ⁇ I 1 , W 42 ⁇ I 2 , W 13 ⁇ I 3 , W 24 ⁇ I 4 ) is added to the addition data (W 12 ⁇ I 2 + W 11 ⁇ I 1 , W 23 ⁇ I 3 + W 22 ⁇ I 2 , W 34 ⁇ I 4 + W 33 ⁇ I 3 , W 41 ⁇ I 1 + W 44 ⁇ I 4 ) (W 13 ⁇ I 3 + W 12 ⁇ I 2 + W 11 ⁇ I 1, W 24 ⁇ I 4 + W 23 ⁇ I 3 + W 22 ⁇ I 2, W 31 ⁇ I 1 + W 34 ⁇ I 4 + W 33 ⁇ I 3, W 42 ⁇ I 2 + W 41 ⁇ I 1 + W 44 ⁇ I 4 ) is output to the next row arithmetic circuit 50_A as the addition data of the next row.
  • each arithmetic circuit 90_A adds data (W 13 ⁇ I 3 + W 12 ⁇ I 2 + W 11 ⁇ I) output in FIG. 21 (E).
  • W 24 ⁇ I 4 + W 23 ⁇ I 3 + W 22 ⁇ I 2 , W 31 ⁇ I 1 + W 34 ⁇ I 4 + W 33 ⁇ I 3 , W 42 ⁇ I 2 + W 41 ⁇ I 1 + W 44 ⁇ I 4 )
  • the product-sum operation data is obtained by adding the multiplication data (W 31 ⁇ I 1 , W 42 ⁇ I 2 , W 13 ⁇ I 3 , W 24 ⁇ I 4 ). As shown in FIG.
  • product-sum operation data 95_2 (W 21 ⁇ I 1 + W 24 ⁇ I 4 + W 23 ⁇ I 3 + W 22 ⁇ I 2, W 31 ⁇ I 1)
  • product sum operation data 95_3 (W 32 ⁇ I 2 + W 31 ⁇ I 1 + W 34 ⁇ I 4 + W 33 ⁇ I 3)
  • multiply-accumulate data 95_4 (W 43 ⁇ I 3 + W 42 ⁇ I 2 + W 41 ⁇ I 1 + W 44 I 4 )
  • product-sum operation data 95_1 (W 14 ⁇ I 4 + W 13 ⁇ I 3 + W 12 ⁇ I 2 + W 11 ⁇ I 1 )
  • the obtained product-sum operation data corresponds to Y (Y 1 to Y 4 ) represented by a matrix-vector product.
  • FIG. 22 to FIG. 26 are for explaining the operation when the full combination calculation processing 77 by the product-sum calculation circuit 40 shown in FIG. 10 is performed using the data shown in FIGS. 11B and 11C.
  • FIG. 22 to FIG. 26 are for explaining the operation when the full combination calculation processing 77 by the product-sum calculation circuit 40 shown in FIG. 10 is performed using the data shown in FIGS. 11B and 11C.
  • FIG. 22 to FIG. 26 are for explaining the operation when the full combination calculation processing 77 by the product-sum calculation circuit 40 shown in FIG. 10 is performed using the data shown in FIGS. 11B and 11C.
  • FIG. 22 (A) is an extraction of the full join calculation process 77 described in FIG. 9 (B).
  • FIG. 22B is a diagram for explaining a convolution operation process in which 81 data of the data 90 is the number of labels to be determined, in this case, the data 92 is 10 channels in the all-join operation process 77. is there.
  • FIG. 22 (B) for one label of data 92, a product-sum operation with a weight parameter is performed on each of 81 data, and a calculation process of adding the obtained values is performed. It is shown.
  • the filter is not used in the all-join calculation process, since the all-join calculation process is performed using the circuit resources of the convolution calculation process described above, the calculation is performed with a circuit scale similar to the convolution calculation process. Therefore, it is effective to divide 81 input data into 9 pieces and perform product-sum operation.
  • the product-sum operation is performed for each of the nine input data.
  • the input data numbers 1 to 9 (the numbers assigned to the data 90 in FIG.
  • a weight parameter group used for a product-sum operation performed with 1 (number assigned to data 92 in FIG. 22B) is referred to as F91.
  • F91 weight parameter group used for a product-sum operation performed between nine data of input data numbers 1 to 9 and output data numbers 2 to 10 (numbers attached to data 92 in FIG. 22B).
  • the weight parameter groups are referred to as F92 to F100, respectively.
  • nine data from input data numbers 10 to 18 (numbers assigned to data 90 in FIG. 22B) and output data numbers 1 to 10 (data in FIG. 22B) F101 to F110, F111 to F120, F121 to F130, F131 to F140, F141 to F150, F151 to F160, and F161 to F170, respectively. , F171 to F180.
  • FIG. 22A and 22B is performed using the 9 ⁇ 10 arithmetic circuit 50 in the product-sum arithmetic circuit 40 shown in FIG.
  • FIG. 23A 9 ⁇ 10 arithmetic circuits 50 are arranged vertically and horizontally, and the row direction and the column direction are illustrated.
  • the column direction is the shift (MAC data shift) direction of the product-sum operation data obtained from the input data and the weight data.
  • the adder circuit 41 is shown.
  • the weight data groups F171 to F180 are set for each column in the arithmetic circuit 50 in the first row in the row direction.
  • the weight data groups F161 to F170 are set for each column in the arithmetic circuit 50 in the second row in the row direction.
  • the weight data groups F161 to F170 are set for each column.
  • the arithmetic circuit 50 in the tenth column gives no data as a blank data and no filter.
  • F91 to F180 indicate nine weight data groups (for example, ⁇ F91, F101, (abbreviated), F171>, ⁇ F92, F102, (omitted), F172 ⁇ , ⁇ F100, F110, (omitted), F180>) are required.
  • a sum-of-products operation is performed using a plurality of weight data groups, and a total join operation process is performed by adding data obtained later. With a small number of arithmetic circuits, massively parallel all-join arithmetic processing can be performed efficiently.
  • F171 weight data is applied to the arithmetic circuit 50 in the first row and first column
  • F172 weight data is input to the arithmetic circuit 50 in the first row and second column
  • F173 weight data is input to the arithmetic circuit 50 in the first row and third column.
  • the weight data group is set as follows.
  • the arithmetic circuit 50 in the first row and the ninth column sets a weight data group like the weight data of F179, and the data and the weight data group are not set in the first row and the tenth column, but the F180 is associated.
  • the weight data group corresponding to the arithmetic circuit 50 is shifted in the column direction.
  • the weight data group corresponding to the arithmetic circuit 50 in the tenth column returns to the first column.
  • the F180 weight data is applied to the arithmetic circuit 50 in the first row and the first column
  • the F171 weight data is input to the arithmetic circuit 50 in the second row and the second column
  • the F172 weight data is input to the arithmetic circuit 50 in the first row and the third column.
  • the weight data group is set as follows. A weight data group is set in the arithmetic circuit 50 in the first row and the ninth column like the weight data of F178, and no data and weight data group are set in the first row and the tenth column, but F179 is made to correspond.
  • the set weight data can be switched to weight data of another weight data group by context switching.
  • the context switching is performed until the weight data group shifts once for 10 columns of arithmetic circuits. That is, the context is sequentially switched from the context “11” to “20”.
  • the product-sum operation data obtained by shifting the operation result data is read to the addition circuit 41.
  • the adder circuit 41 adds the product-sum operation data in the same column.
  • the obtained data corresponds to the data after the total join calculation process.
  • FIG. 23A The above-described operation of FIG. 23A can be summarized as shown in FIG.
  • the context signal context changes the context from “11” to “20” in order to execute a product-sum operation on 81 pieces of data “1” to “81” and different weight data groups. Switch in order. After data “1” to “81” are set in the arithmetic circuit 50 at time T write3 , the context is sequentially switched from context “11” to “20” at times T20 to T29. After product-sum operations of 81 pieces of data “1” to “81” and nine weight data groups are obtained by the respective arithmetic circuits 50, they are read out to the adder circuit 41 at time Tread2 to perform product-sum operation processing. Data (CH10 1 ⁇ 1) is obtained.
  • FIG. 24A is a diagram visualizing input data held in the arithmetic circuit 50 at time T write3 .
  • 81 pieces of data “1” to “81” are set in the arithmetic circuit 50 of each row and column.
  • “0” is illustrated as empty data.
  • a set of weight data is written in the memory 52 in the arithmetic circuit 50.
  • the set of weight data is switched in response to context switching.
  • FIG. 24B is a diagram visualizing data held in the arithmetic circuit 50 at time T20.
  • the weight data group to be multiplied by the arithmetic circuit 50 described below is set as illustrated in FIG.
  • the arrow in the column direction represents the shift direction of the multiplication data or the addition data obtained by adding the addition data of the previous column to the multiplication data.
  • “F171” or the like added between the arithmetic circuits 50 in the same row is a weight data group for performing a product-sum operation with F171.
  • the data obtained by the operation is added as the addition data to the operation circuit 50 in the data shift direction by adding the addition data in the preceding column.
  • the arithmetic circuit 50 in the first column holding the data “73” performs an operation with F171.
  • the obtained data is added to the data output from the arithmetic circuit 50 in the 10th column (in this case, 0) and output to the arithmetic circuit 50 in the second column.
  • the arithmetic circuit 50 in the second column holding the data “74” performs an operation with F172.
  • the obtained data is added to the data output from the arithmetic circuit 50 in the first column and output to the arithmetic circuit 50 in the third column.
  • the arithmetic circuits 50 in the third column to the eighth column also perform operations on the data and F173 to F178, respectively, and output the obtained data to the arithmetic circuit 50.
  • the arithmetic circuit 50 in the ninth column holding the data “81” performs an operation with F179.
  • the obtained data is added to the data output from the arithmetic circuit 50 in the eighth column and output to the arithmetic circuit 50 in the tenth column.
  • the arithmetic circuit 50 in the tenth column which does not hold data, is empty data and cannot obtain multiplication data. That is, the addition data output from the arithmetic circuit 50 in the tenth column remains the addition data output from the arithmetic circuit 50 in the ninth column.
  • FIG. 25A is a diagram visualizing the input data held in the arithmetic circuit 50 at time T21.
  • a weight data group to be multiplied by the following arithmetic circuit 50 is set as context “12” as shown in FIG.
  • the arithmetic circuit 50 in the first column holding the data “73” performs an operation with F180.
  • the obtained data is added to the data output from the arithmetic circuit 50 in the 10th column (in this case, 0) and output to the arithmetic circuit 50 in the second column.
  • the arithmetic circuit 50 in the second column holding the data “74” performs an operation with F171.
  • the obtained data is added to the data output from the arithmetic circuit 50 in the first column (in this case, the data “73” and the multiplication data of F171 performed at time T21) and output to the arithmetic circuit 50 in the third column. .
  • the arithmetic circuits 50 in the third column to the eighth column also perform operations on the data and F172 to F177, respectively, and output the obtained data to the arithmetic circuit 50.
  • the arithmetic circuit 50 in the ninth column holding the data “81” performs an operation with F178.
  • the obtained data is added to the data output from the arithmetic circuit 50 in the eighth column (in this case, the data “80” multiplied by F178 at time T21) and output to the arithmetic circuit 50 in the tenth column.
  • the arithmetic circuit 50 in the tenth column which does not hold data, is empty data and cannot obtain multiplication data. That is, the data output from the arithmetic circuit 50 in the tenth column remains the data output from the arithmetic circuit 50 in the ninth column (in this case, the data “81” multiplied by F179 at time T21). .
  • weight data to be multiplied by the arithmetic circuit 50 described below is set as contexts “13” to “19”, and the held data and the weight data group are set. An operation is performed and output to the operation circuit 50 is performed.
  • FIG. 25 (B) is a diagram visualizing the input data held in the arithmetic circuit 50 at time T29.
  • a weight data group to be multiplied by the following arithmetic circuit 50 is set as context “20” as shown in FIG.
  • the arithmetic circuit 50 in the first column holding the data “73” performs an operation with F172.
  • the obtained data is added to the data output from the arithmetic circuit 50 in the tenth column (in this case, the product-sum operation of the combination of the data “74” to “81” and F171, F173 to F180) and the second column
  • the result is output to the arithmetic circuit 50.
  • the arithmetic circuit 50 in the second column holding the data “74” performs an operation with F173.
  • the obtained data is output from the arithmetic circuit 50 in the first column (in this case, product-sum operation of combinations of data “73”, data “75” to “81” and F171, F172, F174 to F180) And output to the arithmetic circuit 50 in the third column.
  • the arithmetic circuits 50 in the third column to the eighth column also perform operations on the data and F174 to F178, respectively, and output the obtained data to the arithmetic circuit 50.
  • the arithmetic circuit 50 in the ninth column holding the data “81” performs an operation with F180.
  • the obtained data is added to the data output from the operation circuit 50 in the eighth column (in this case, the product-sum operation of combinations of data “73” to “80” and F171 to F179), and the operation in the tenth column Output to the circuit 50.
  • the arithmetic circuit 50 in the tenth column which does not hold data, is empty data and cannot obtain multiplication data. That is, the data output from the arithmetic circuit 50 in the 10th column is the sum-of-products operation of the data output from the arithmetic circuit 50 in the 9th column (in this case, combinations of data “73” to “81” and F171 to F179). ).
  • the arithmetic circuits 50 in the second row through the ninth column also perform arithmetic operations with F91 through F170, respectively, and output the obtained data to the arithmetic circuit 50. That is, each arithmetic circuit 50 in the state at time T29 holds the result of the product-sum operation of the data held in each row and the weight data group obtained by switching the context signal by holding in each row. become.
  • FIG. 26 is a diagram visualizing the operation at time Tread2 .
  • the arrow in the row direction represents the data shift direction by the product-sum operation obtained in T20 to T29.
  • the data by the product-sum operation held in the first to ninth rows is sequentially shifted to the addition circuit 41, and the sum of the obtained data is obtained for each column.
  • the obtained data is processed by the ReLU in the arithmetic unit 23 outside the product-sum arithmetic circuit 40 to obtain fully coupled data.
  • the operation data is switched according to the configuration of the input data, the configuration of the filter and the weight data group, etc., so that multiplication data and addition data are efficiently generated in each arithmetic circuit.
  • the product-sum operation can be performed efficiently. Therefore, as the input data and weight data increase in the neural network circuit, an increase in circuit scale becomes a problem, but this problem can be solved. That is, the product resources can be effectively used because circuit-sum operations of different processes can be performed using the same circuit.
  • Embodiment 2 shows an example of an IC (neural network system IC) in which the neural network circuit shown in the above embodiment is incorporated.
  • the neural network circuit shown in the above embodiment can be integrated on a single die, an arithmetic circuit 50 having a multiplication circuit and an addition circuit made of Si transistors, a memory circuit using OS transistors.
  • FIG. 27 shows an example of an IC incorporating a neural network circuit.
  • a neural network system IC 7000 shown in FIG. 27 includes a lead 7001 and a circuit unit 7003.
  • the circuit portion 7003 is provided with the various circuits described in the above embodiment in one die.
  • the circuit portion 7003 has a stacked structure, and is roughly divided into a Si transistor layer 7031, a wiring layer 7032, and an OS transistor layer 7033. Since the OS transistor layer 7033 can be stacked on the Si transistor layer 7031, the neural network system IC7000 can be easily downsized.
  • QFP Quad Flat Package
  • the arithmetic circuit 50 including Si transistors and the memory circuit including an OS transistor can all be formed in the Si transistor layer 7031, the wiring layer 7032, and the OS transistor layer 7033. That is, the elements constituting the neural network circuit can be formed by the same manufacturing process. Therefore, the IC shown in this embodiment mode does not require an increase in manufacturing process even if the number of constituent elements is increased, and the neural network circuit can be incorporated at low cost.
  • DOSRAM 1400 With reference to FIGS. 28A to 28C, the DOSRAM will be described.
  • the DOSRAM 1400 illustrated in FIG. 28A includes a controller 1405, a row circuit 1410, a column circuit 1415, and an MC-SA array 1420.
  • the row circuit 1410 includes a decoder 1411, a word line driver 1412, a column selector 1413, and a sense amplifier driver 1414.
  • the column circuit 1415 includes a global sense amplifier array 1416 and an input / output circuit 1417.
  • the global sense amplifier array 1416 has a plurality of global sense amplifiers 1447.
  • the MC-SA array 1420 includes a memory cell array 1422, a sense amplifier array 1423, and global bit lines GBLL and GBLR.
  • the MC-SA array 1420 has a stacked structure in which the memory cell array 1422 is stacked on the sense amplifier array 1423.
  • Global bit lines GBLL and GBLR are stacked on the memory cell array 1422.
  • a hierarchical bit line structure in which a local bit line and a global bit line are hierarchized is adopted as the bit line structure.
  • the memory cell array 1422 has N (N is an integer of 2 or more) local memory cell arrays 1425 ⁇ 0> -425 ⁇ N-1>.
  • the local memory cell array 1425 includes a plurality of memory cells 1445, a plurality of word lines WL, and a plurality of bit lines BLL and BLR.
  • the structure of the local memory cell array 1425 is an open bit line type, but may be a folded bit line type.
  • a memory cell 1445 illustrated in FIG. 28A includes an OS transistor MO45 and a capacitor C45.
  • the OS transistor MO45 has a function of controlling charging / discharging of the capacitor C45.
  • the gate of the OS transistor MO45 is electrically connected to the word line, the back gate is electrically connected to the wiring BGL, the first terminal is electrically connected to the bit line BLL or BLR, and the second terminal is the capacitor C45. Is electrically connected to the first terminal.
  • a second terminal of the capacitor C45 is electrically connected to the wiring PCL.
  • the wirings CSL and BGL are power supply lines for supplying a voltage.
  • the threshold voltage of the OS transistor MO45 can be changed by the voltage of the wiring BGL.
  • the voltage at the terminal B2 may be a fixed voltage (for example, a negative constant voltage), or the voltage at the terminal B2 may be changed according to the operation of the DOSRAM 1400.
  • the back gate of the OS transistor MO45 may be electrically connected to the gate, source, or drain of the OS transistor MO45. Alternatively, the OS transistor MO45 may not have a back gate.
  • the sense amplifier array 1423 includes N local sense amplifier arrays 1426 ⁇ 0> -426 ⁇ N-1>.
  • the local sense amplifier array 1426 includes one switch array 1444 and a plurality of sense amplifiers 1446.
  • a bit line pair is electrically connected to the sense amplifier 1446.
  • the sense amplifier 1446 has a function of precharging the bit line pair, a function of amplifying the voltage difference between the bit line pair, and a function of holding this voltage difference.
  • the switch array 1444 has a function of selecting a bit line pair and bringing the selected bit line pair and the global bit line pair into a conductive state.
  • bit line pair refers to two bit lines that are simultaneously compared by the sense amplifier.
  • a global bit line pair refers to two global bit lines that are simultaneously compared by a global sense amplifier.
  • a bit line pair can be called a pair of bit lines, and a global bit line pair can be called a pair of global bit lines.
  • bit line BLL and the bit line BLR form one bit line pair.
  • Global bit line GBLL and global bit line GBLR form a pair of global bit lines.
  • bit line pair (BLL, BLR) and the global bit line pair (GBLL, GBLR) are also represented.
  • the controller 1405 has a function of controlling the overall operation of the DOSRAM 1400.
  • the controller 1405 performs a logical operation on a command signal input from the outside to determine an operation mode, and a function to generate control signals for the row circuit 1410 and the column circuit 1415 so that the determined operation mode is executed.
  • the row circuit 1410 has a function of driving the MC-SA array 1420.
  • the decoder 1411 has a function of decoding an address signal.
  • the word line driver 1412 generates a selection signal for selecting the word line WL of the access target row.
  • the column selector 1413 and the sense amplifier driver 1414 are circuits for driving the sense amplifier array 1423.
  • the column selector 1413 has a function of generating a selection signal for selecting the bit line of the access target column.
  • the switch array 1444 of each local sense amplifier array 1426 is controlled by a selection signal from the column selector 1413.
  • the plurality of local sense amplifier arrays 1426 are independently driven by the control signal of the sense amplifier driver 1414.
  • the column circuit 1415 has a function of controlling input of the data signal WDA [31: 0] and a function of controlling output of the data signal RDA [31: 0].
  • the data signal WDA [31: 0] is a write data signal
  • the data signal RDA [31: 0] is a read data signal.
  • the global sense amplifier 1447 is electrically connected to a global bit line pair (GBLL, GBLR).
  • the global sense amplifier 1447 has a function of amplifying a voltage difference between the global bit line pair (GBLL, GBLR) and a function of holding this voltage difference.
  • Data input / output to / from the global bit line pair (GBLL, GBLR) is performed by an input / output circuit 1417.
  • Data is written to the global bit line pair by the input / output circuit 1417.
  • Data of the global bit line pair is held by the global sense amplifier array 1416.
  • the data of the global bit line pair is written to the bit line pair of the target column by the switch array 1444 of the local sense amplifier array 1426 specified by the address.
  • the local sense amplifier array 1426 amplifies and holds the written data.
  • the row circuit 1410 selects the word line WL of the target row, and the data held in the local sense amplifier array 1426 is written into the memory cell 1445 of the selected row.
  • One row of the local memory cell array 1425 is designated by the address signal.
  • the word line WL in the target row is selected, and the data in the memory cell 1445 is written to the bit line.
  • the local sense amplifier array 1426 detects and holds the voltage difference between the bit line pairs in each column as data.
  • the switch array 1444 writes the data in the column specified by the address among the data held in the local sense amplifier array 1426 to the global bit line pair.
  • the global sense amplifier array 1416 detects and holds data of the global bit line pair. Data held in the global sense amplifier array 1416 is output to the input / output circuit 1417. This completes the read operation.
  • the DOSRAM 1400 In order to rewrite data by charging / discharging the capacitive element C45, the DOSRAM 1400 has no limitation on the number of rewrites in principle, and can write and read data with low energy. Further, since the circuit configuration of the memory cell 1445 is simple, the capacity can be easily increased. Therefore, the DOSRAM 1400 is suitable for a memory device that rewrites a large amount of data at a high frequency, for example, a frame memory used for image processing.
  • the OS transistor MO45 is an OS transistor. Since the OS transistor has an extremely small off-state current, it is possible to suppress charge leakage from the capacitor C45. Therefore, since the DOSRAM 1400 has a much longer retention time than the DRAM, the refresh rate frequency can be reduced. Therefore, the DOSRAM 1400 can reduce the power required for the fresh operation.
  • the bit line can be shortened to the same length as the local sense amplifier array 1426. By shortening the bit line, the bit line capacitance can be reduced and the storage capacity of the memory cell 1445 can be reduced. Further, by providing the switch array 1444 in the local sense amplifier array 1426, the number of long bit lines can be reduced. For the above reasons, the load that is driven when the DOSRAM 1400 is accessed is reduced.
  • the power consumption of the neural network system can be reduced by using the DOSRAM 1400 for the memory 52 described in the above embodiment.
  • NOSRAM ⁇ NOSRAM >> The NOSRAM will be described with reference to FIGS. 29 and 30.
  • FIG. Here, a multi-level NOSRAM that stores multi-level data in one memory cell will be described.
  • the NOSRAM 1600 shown in FIG. 29 includes a memory cell array 1610, a controller 1640, a row driver 1650, a column driver 1660, and an output driver 1670.
  • the memory cell array 1610 includes a plurality of memory cells 1611, a plurality of word lines WWL and RWL, a bit line BL, and a source line SL.
  • the word line WWL is a write word line
  • the word line RWL is a read word line.
  • one memory cell 1611 stores 3-bit (eight values) data.
  • the controller 1640 comprehensively controls the entire NOSRAM 1600, and writes data WDA [31: 0] and reads data RDA [31: 0].
  • the controller 1640 processes command signals from the outside (for example, a chip enable signal, a write enable signal, etc.), and generates control signals for the row driver 1650, the column driver 1660, and the output driver 1670.
  • the row driver 1650 has a function of selecting a row to be accessed.
  • the row driver 1650 includes a row decoder 1651 and a word line driver 1652.
  • the column driver 1660 drives the source line SL and the bit line BL.
  • the column driver 1660 includes a column decoder 1661, a write driver 1662, and a DAC (digital-analog conversion circuit) 1663.
  • the DAC 1663 converts 3-bit digital data into analog voltage.
  • the DAC 1663 converts 32-bit data WDA [31: 0] into an analog voltage every 3 bits.
  • the write driver 1662 has a function of precharging the source line SL, a function of electrically floating the source line SL, a function of selecting the source line SL, and a write voltage generated by the DAC 1663 to the selected source line SL.
  • the output driver 1670 includes a selector 1671, an ADC (analog-digital conversion circuit) 1672, and an output buffer 1673.
  • the selector 1671 selects the source line SL to be accessed and transmits the voltage of the selected source line SL to the ADC 1672.
  • the ADC 1672 has a function of converting an analog voltage into 3-bit digital data. The voltage of the source line SL is converted into 3-bit data in the ADC 1672, and the output buffer 1673 holds data output from the ADC 1672.
  • FIG. 30A is a circuit diagram illustrating a structural example of the memory cell 1611.
  • the memory cell 1611 is a 2T type gain cell, and the memory cell 161 is electrically connected to the word lines WWL and RWL, the bit line BL, the source line SL, and the wiring BGL.
  • the memory cell 1611 includes a node SN, an OS transistor MO61, a transistor MP61, and a capacitor C61.
  • the OS transistor MO61 is a write transistor.
  • the transistor MP61 is a read transistor, and is composed of, for example, a p-channel Si transistor.
  • the capacitive element C61 is a holding capacitor for holding the voltage of the node SN.
  • the node SN is a data holding node and corresponds to the gate of the transistor MP61 here.
  • the NOSRAM 1600 can hold data for a long time.
  • bit line is a common bit line for writing and reading.
  • a writing bit line WBL and a reading bit line RBL may be provided. Good.
  • FIG. 30C to FIG. 30E show another configuration example of the memory cell.
  • FIGS. 30C to 30E show an example in which a write bit line and a read bit line are provided. As shown in FIG. 30A, bit lines shared by writing and reading are shown. May be provided.
  • a memory cell 1612 shown in FIG. 30C is a modified example of the memory cell 1611 in which the read transistor is changed to an n-channel transistor (MN61).
  • the transistor MN61 may be an OS transistor or a Si transistor.
  • the OS transistor MO61 may be an OS transistor without a back gate.
  • the memory cell 1613 shown in FIG. 30D is a 3T gain cell, and is electrically connected to the word lines WWL and RWL, the bit lines WBL and RBL, the source line SL, and the wirings BGL and PCL.
  • the memory cell 1613 includes a node SN, an OS transistor MO62, a transistor MP62, a transistor MP63, and a capacitor C62.
  • the OS transistor MO62 is a write transistor.
  • the transistor MP62 is a read transistor, and the transistor MP63 is a selection transistor.
  • a memory cell 1614 shown in FIG. 30E is a modified example of the memory cell 1613, in which a read transistor and a selection transistor are changed to n-channel transistors (MN62, MN63).
  • the transistors MN62 and MN63 may be OS transistors or Si transistors.
  • the OS transistor provided in the memory cells 1611 to 1614 may be a transistor without a back gate or a transistor with a back gate.
  • the NOSRAM 1600 Since data is rewritten by charging / discharging the capacitive element C61, the NOSRAM 1600 has no limitation on the number of rewrites in principle, and can write and read data with low energy. Further, since the data can be held for a long time, the refresh frequency can be reduced. Therefore, the DOSRAM 1400 is suitable for a memory device that rewrites a large amount of data at a high frequency, for example, a frame memory used for image processing.
  • the power consumption of the neural network circuit can be reduced.
  • each embodiment can be combined with the structure described in any of the other embodiments as appropriate, for one embodiment of the present invention.
  • any of the structure examples can be combined with each other as appropriate.
  • the content (may be a part of content) described in one embodiment is different from the content (may be a part of content) described in the embodiment and / or one or more Application, combination, replacement, or the like can be performed on the content described in another embodiment (or part of the content).
  • a drawing (or a part thereof) described in one embodiment may be another part of the drawing, another drawing (may be a part) described in the embodiment, and / or one or more. More diagrams can be formed by combining the diagrams (may be a part) described in another embodiment.
  • the constituent elements are classified by function and shown as independent blocks.
  • it is difficult to separate the components for each function and there may be a case where a plurality of functions are involved in one circuit or a case where one function is involved over a plurality of circuits. Therefore, the blocks in the block diagram are not limited to the components described in the specification, and can be appropriately rephrased depending on the situation.
  • the size, the layer thickness, or the region is shown in an arbitrary size for convenience of explanation. Therefore, it is not necessarily limited to the scale. Note that the drawings are schematically shown for the sake of clarity, and are not limited to the shapes or values shown in the drawings. For example, variation in signal, voltage, or current due to noise, variation in signal, voltage, or current due to timing shift can be included.
  • one of a source and a drain is referred to as “one of a source and a drain” (or a first electrode or a first terminal), and the source and the drain The other is referred to as “the other of the source and the drain” (or the second electrode or the second terminal).
  • the source and drain of a transistor vary depending on the structure or operating conditions of the transistor.
  • the names of the source and the drain of the transistor can be appropriately rephrased depending on the situation, such as a source (drain) terminal or a source (drain) electrode.
  • Electrode and “wiring” do not functionally limit these components.
  • an “electrode” may be used as part of a “wiring” and vice versa.
  • the terms “electrode” and “wiring” include a case where a plurality of “electrodes” and “wirings” are integrally formed.
  • the voltage is a potential difference from a reference potential.
  • the reference potential is a ground voltage (ground voltage)
  • the voltage can be rephrased as a potential.
  • the ground potential does not necessarily mean 0V. Note that the potential is relative, and the potential applied to the wiring or the like may be changed depending on the reference potential.
  • conductive layer may be changed to the term “conductive film”.
  • insulating film may be changed to the term “insulating layer” in some cases.
  • a switch refers to a switch that is in a conductive state (on state) or a non-conductive state (off state) and has a function of controlling whether or not to pass a current.
  • the switch refers to a switch having a function of selecting and switching a current flow path.
  • an electrical switch or a mechanical switch can be used. That is, the switch is not limited to a specific one as long as it can control the current.
  • Examples of electrical switches include transistors (eg, bipolar transistors, MOS transistors, etc.), diodes (eg, PN diodes, PIN diodes, Schottky diodes, MIM (Metal Insulator Metal) diodes, MIS (Metal Insulator Semiconductor) diodes. , Diode-connected transistors, etc.), or a logic circuit combining these.
  • transistors eg, bipolar transistors, MOS transistors, etc.
  • diodes eg, PN diodes, PIN diodes, Schottky diodes, MIM (Metal Insulator Metal) diodes, MIS (Metal Insulator Semiconductor) diodes. , Diode-connected transistors, etc.
  • diodes eg, PN diodes, PIN diodes, Schottky diodes, MIM (Metal Insulator Metal) diodes, MIS (Metal Insulator Semiconductor) diodes. , Dio
  • the “conducting state” of the transistor means a state in which the source and drain of the transistor can be regarded as being electrically short-circuited.
  • the “non-conducting state” of a transistor refers to a state where the source and drain of the transistor can be regarded as being electrically cut off.
  • the polarity (conductivity type) of the transistor is not particularly limited.
  • a mechanical switch is a switch using MEMS (micro electro mechanical system) technology such as a digital micromirror device (DMD).
  • MEMS micro electro mechanical system
  • DMD digital micromirror device
  • the switch has an electrode that can be moved mechanically, and operates by controlling conduction and non-conduction by moving the electrode.
  • the channel length means, for example, in a top view of a transistor, a region where a semiconductor (or a portion where a current flows in the semiconductor when the transistor is on) and a gate overlap with each other, or a channel is formed. This is the distance between the source and drain in the region.
  • the channel width refers to, for example, a source in a region where a semiconductor (or a portion where a current flows in the semiconductor when the transistor is on) and a gate electrode overlap, or a region where a channel is formed And the length of the part where the drain faces.
  • a and B are connected includes not only those in which A and B are directly connected, but also those that are electrically connected.
  • a and B are electrically connected.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Neurology (AREA)
  • Thin Film Transistor (AREA)
  • Complex Calculations (AREA)

Abstract

要約書 新規な構成のニューラルネットワーク回路を提供すること。 レジスタ、メモリ、乗算回路および加算回路を有する複数の演算回路を複数設ける。メモリは、コンテキスト 信号の切り替えに応じて異なる重みデータを出力する。乗算回路は、重みデータと、レジスタに保持される 入力データと、の乗算データとを出力する。加算回路は、別の演算回路における加算回路で得られた積和 演算で得られるデータに、得られた乗算データを加算することで積和演算を行う。得られた積和演算のデー タは、別の演算回路における加算回路に出力することで、異なる重みデータおよび入力データの積和演算 を行う構成とする。

Description

ニューラルネットワーク回路
　本発明の一態様は、ニューラルネットワーク回路に関する。
　コンピュータの処理能力は、素子の微細化の進化に伴い、近年目覚ましく向上している。コンピュータの基本構成としてノイマン型コンピュータが知られている。ノイマン型コンピュータではストアドプログラム方式、つまりメモリに記憶した命令（プログラム）およびデータを順に実行すること、で情報処理（逐次処理方式）を行う。しかしながら命令の実行による情報処理では、人間精神と同じレベルで学習や推論をすることが難しい。そのため、生体の神経回路網の情報処理方式を見倣ったアプローチである人工ニューラルネットワーク（以下ニューラルネットワークという）が注目されている。
　ニューラルネットワークは入力層、中間層、出力層といった複数の層によって構成される。入力層、中間層、出力層は、それぞれの層で複数のニューロンをもつ。入力層から中間層、および中間層から出力層へは、処理によって得られるデータが出力される。ニューラルネットワークでは、入力層にある複数のニューロンに対してデータを並列で入力し、中間層、出力層の順にデータを処理することで情報処理（並列処理方式）を行う。ニューラルネットワークの情報処理はノイマン型コンピュータを用いるソフトウェア処理にてニューロンの機能を実現できる。しかし入力されるデータ数が増加するにしたがって、複数のニューロンにおける処理をプロセッサが時分割で実行することになり、並列処理方式が難しくなる。そのため、ハードウェアを用いてニューロンを構成し集積回路（ニューラルネットワーク回路）化する構成が提案されている（例えば特許文献１を参照）。
特開２０１６−２１９０１１号公報
　ニューラルネットワーク回路を用いて畳み込みニューラルネットワークのようなデータ処理を行う場合、認識精度を高めるために中間層の層数を増やす、所謂ディープラーニングが有効である。しかしながら深い中間層をハードウェアで構成する場合、回路規模が大きくなるといった虞がある。また回路規模が大きくなると、消費電力が増大する虞がある。
　ニューラルネットワークでは、積和演算が演算の大部分を占める。従ってニューラルネットワーク回路において回路規模の大型化を解消するためには、積和演算を如何に効率よく行うかが重要となる。また同じ回路を用いて異なる処理の積和演算を行う構成とすることで、回路リソースの有効活用を行うかが重要となる。
　本発明の一態様は、新規な構成のニューラルネットワーク回路を提供することを課題の一とする。または本発明の一態様は、回路規模の増大を抑制できる、新規なニューラルネットワーク回路を提供することを課題の一とする。または本発明の一態様は、同じ回路を用いて異なる処理の積和演算を行うことができる、新規なニューラルネットワーク回路を提供することを課題の一とする。
　なお、これらの課題の記載は、他の課題の存在を妨げるものではない。なお、本発明の一態様は、これらの課題の全てを解決する必要はないものとする。なお、これら以外の課題は、明細書、図面、請求項などの記載から、自ずと明らかとなるものであり、明細書、図面、請求項などの記載から、これら以外の課題を抽出することが可能である。
　本発明の一態様は、第１乃至第３の演算回路を有し、第１乃至第３の演算回路はそれぞれ、第１のレジスタ、メモリ、乗算回路、および加算回路を有し、第１のレジスタは、入力データを保持する機能を有し、メモリは、重みデータを記憶する機能を有し、メモリは、入力されるコンテキスト信号の切り替えに応じて異なる重みデータを出力する機能を有し、第１の演算回路が有する乗算回路は、重みデータと入力データとの積に応じた乗算データを出力する機能を有し、第１の演算回路が有する加算回路は、第１の加算データを出力する機能を有し、第１の加算データは、乗算データと、第２の演算回路が有する加算回路が出力する第２の加算データとの和に応じたデータであり、第１の加算データは、第３の演算回路が有する加算回路に出力されるデータであるニューラルネットワーク回路である。
　本発明の一態様において、第１乃至第３の演算回路間にプログラマブルスイッチエレメントを有し、プログラマブルスイッチエレメントは、コンテキスト信号の切り替えによって第１乃至第３の演算回路間の電気的な接続を切り替える機能を有するニューラルネットワーク回路が好ましい。
　本発明の一態様において、メモリはトランジスタを有し、トランジスタは、チャネル形成領域に酸化物半導体を有するトランジスタであるニューラルネットワーク回路が好ましい。
　本発明の一態様において、第１乃至第３の加算データは、畳み込み演算処理または全結合演算処理に用いられるデータであるニューラルネットワーク回路が好ましい。
　本発明の一態様において、第１の演算回路は、第２のレジスタを有し、第２のレジスタは、第１の加算データまたは乗算データを保持する機能を有するニューラルネットワーク回路が好ましい。
　本発明の一態様のニューラルネットワーク回路は、活性化関数処理を行う回路、およびプーリング演算処理を行う回路を有するニューラルネットワーク回路が好ましい。
　本発明の一態様は、第１乃至第３の演算回路を有し、第１の演算回路は、第１のレジスタ、第１のメモリ、第１の乗算回路、および第１の加算回路を有し、第２の演算回路は、第２のレジスタ、第２のメモリ、第２の乗算回路、および第２の加算回路を有し、第３の演算回路は、第３のレジスタ、第３のメモリ、第３の乗算回路、および第３の加算回路を有し、第１乃至第３のレジスタは、それぞれに第１乃至第３の入力データを保持する機能を有し、第１乃至第３のメモリは、それぞれ重みデータを記憶する機能を有し、第１乃至第３のメモリは、それぞれに入力されるコンテキスト信号の切り替えに応じて異なる第１乃至第３の重みデータを出力する機能を有し、第１の乗算回路は、第１の重みデータと第１の入力データとの積に応じた第１の乗算データを出力する機能を有し、第２の乗算回路は、第２の重みデータと第２の入力データとの積に応じた第２の乗算データを出力する機能を有し、第３の乗算回路は、第３の重みデータと第３の入力データとの積に応じた第３の乗算データを出力する機能を有し、第１の加算回路は、第１の加算データを出力する機能を有し、第２の加算回路は、第２の加算データを出力する機能を有し、第３の加算回路は、第３の加算データを出力する機能を有し、第２の加算データは、第２の乗算データと、第１の加算データとの和に応じたデータであり、第１の加算データは、第１の乗算データと、第３の加算データを含むデータであるニューラルネットワーク回路である。
　本発明の一態様において、第１乃至第３の演算回路間にプログラマブルスイッチエレメントを有し、プログラマブルスイッチエレメントは、コンテキスト信号の切り替えによって第１乃至第３の演算回路間の電気的な接続を切り替える機能を有するニューラルネットワーク回路が好ましい。
　本発明の一態様において、第１乃至第３のメモリはそれぞれトランジスタを有し、トランジスタは、チャネル形成領域に酸化物半導体を有するトランジスタであるニューラルネットワーク回路が好ましい。
　本発明の一態様において、第１乃至第３の加算データは、畳み込み演算処理または全結合演算処理に用いられるデータであるニューラルネットワーク回路が好ましい。
　本発明の一態様において、第１の演算回路は、第４のレジスタを有し、第２の演算回路は、第５のレジスタを有し、第３の演算回路は、第６のレジスタを有し、第４のレジスタは、第１の加算データまたは第１の乗算データを保持する機能を有し、第５のレジスタは、第２の加算データまたは第２の乗算データを保持する機能を有し、第６のレジスタは、第３の加算データまたは第３の乗算データを保持する機能を有するニューラルネットワーク回路が好ましい。
　本発明の一態様のニューラルネットワーク回路は、活性化関数処理を行う回路、およびプーリング演算処理を行う回路を有するニューラルネットワーク回路が好ましい。
　なおその他の本発明の一態様については、以下で述べる実施の形態における説明、および図面に記載されている。
　本発明の一態様は、新規な構成のニューラルネットワーク回路を提供することができる。または本発明の一態様は、回路規模の増大を抑制できる、新規なニューラルネットワーク回路を提供することができる。または本発明の一態様は、同じ回路を用いて異なる処理の積和演算を行うことができる、新規なニューラルネットワーク回路を提供することができる。
　なお、これらの効果の記載は、他の効果の存在を妨げるものではない。なお、本発明の一態様は、これらの効果の全てを有する必要はない。なお、これら以外の効果は、明細書、図面、請求項などの記載から、自ずと明らかとなるものであり、明細書、図面、請求項などの記載から、これら以外の効果を抽出することが可能である。
ニューラルネットワーク回路を説明するためのブロック図。 ニューラルネットワーク回路を説明するためのブロック図。 ニューラルネットワーク回路を説明するためのブロック図。 ニューラルネットワーク回路を説明するためのブロック図。 ニューラルネットワーク回路を説明するためのブロック図。 ニューラルネットワーク回路を説明するためのブロック図。 ニューラルネットワーク回路を説明するためのブロック図。 ニューラルネットワーク回路を説明するためのブロック図。 ニューラルネットワーク回路を説明するためのブロック図。 ニューラルネットワーク回路を説明するためのブロック図。 ニューラルネットワーク回路を説明するためのブロック図。 ニューラルネットワーク回路を説明するためのブロック図。 ニューラルネットワーク回路を説明するためのブロック図。 ニューラルネットワーク回路を説明するためのブロック図。 ニューラルネットワーク回路を説明するためのブロック図。 ニューラルネットワーク回路を説明するためのブロック図。 ニューラルネットワーク回路を説明するためのブロック図。 ニューラルネットワーク回路を説明するためのブロック図。 ニューラルネットワーク回路を説明するためのブロック図。 ニューラルネットワーク回路を説明するためのブロック図。 ニューラルネットワーク回路を説明するためのブロック図。 ニューラルネットワーク回路を説明するためのブロック図。 ニューラルネットワーク回路を説明するためのブロック図。 ニューラルネットワーク回路を説明するためのブロック図。 ニューラルネットワーク回路を説明するためのブロック図。 ニューラルネットワーク回路を説明するためのブロック図。 ニューラルネットワークシステムを組み込んだＩＣの構成例を示す斜視模式図。 Ａ：ＤＯＳＲＡＭの構成例を示す機能ブロック図。Ｂ：メモリセルアレイの構成例を示す図。Ｃ：メモリセルの構成例を示す回路図。 ＮＯＳＲＡＭの構成例を示す機能ブロック図。 Ａ−Ｅ：メモリセルの構成例を示す回路図。
　以下、実施の形態について図面を参照しながら説明する。但し、実施の形態は多くの異なる態様で実施することが可能であり、趣旨およびその範囲から逸脱することなくその形態および詳細を様々に変更し得ることは当業者であれば容易に理解される。従って、本発明は、以下の実施の形態の記載内容に限定して解釈されるものではない。
　なお本明細書等において、「第１」、「第２」、「第３」という序数詞は、構成要素の混同を避けるために付したものである。従って、構成要素の数を限定するものではない。また、構成要素の順序を限定するものではない。また例えば、本明細書等の実施の形態の一において「第１」に言及された構成要素が、他の実施の形態、あるいは特許請求の範囲において「第２」に言及された構成要素とすることもありうる。また例えば、本明細書等の実施の形態の一において「第１」に言及された構成要素を、他の実施の形態、あるいは特許請求の範囲において省略することもありうる。
　なお図面において、同一の要素または同様な機能を有する要素、同一の材質の要素、あるいは同時に形成される要素等には同一の符号を付す場合があり、その繰り返しの説明は省略する場合がある。
　なお、本明細書においてニューラルネットワークとは、生物の神経回路網を模し、学習によってニューロンどうしの結合強度を決定し、問題解決能力を持たせるモデル全般を指す。ニューラルネットワークは入力層、中間層（隠れ層ともいう）、出力層を有する。ニューラルネットワークのうち、２層以上の中間層を有するものをディープニューラルネットワークと呼称する。ディープニューラルネットワークによる学習を「ディープラーニング」と呼称する。またニューラルネットワークをハードウェアで実行可能な回路をニューラルネットワーク回路という。
　また、本明細書において、ニューラルネットワークについて述べる際に、既にある情報からニューロンとニューロンの結合強度（重み係数とも言う）を決定することを「学習」と呼ぶ場合がある。
　また、本明細書において、学習によって得られた結合強度を用いてニューラルネットワークを構成し、そこから新たな結論を導くことを「推論」と呼ぶ場合がある。
（実施の形態１）
　本実施の形態では、ニューラルネットワークの機能をハードウェアで実現可能なニューラルネットワーク回路の構成について説明する。本発明の一態様であるニューラルネットワーク回路は、積和演算を効率よく行うことができる。そのため、積和演算の頻度が高い畳み込みニューラルネットワークへの応用が非常に有効である。以下、具体的な構成例を示して説明する。なお積和演算は、乗算によって得られたデータ同士を加算して足し合わせる演算である。
　図１は、ニューラルネットワーク回路を備えたデータ処理回路１０のブロック図である。データ処理回路１０は、インターフェース１１、クロック生成回路１２、マスターコントローラ１３、データドライバ１４、ワードドライバ１５およびニューラルネットワーク回路２０を有する。
　ニューラルネットワーク回路２０は、メモリコントローラ２１、メモリ２２、演算ユニット２３、データ入出力回路２４、および演算部３０を有する。
　演算部３０は、レジスタ回路３１および積和演算回路４０を有する。積和演算回路４０は、複数の演算回路５０、および加算回路４１を有する。なお図１では図示しないが、複数の演算回路間には、当該演算回路間の電気的な接続を切り替えるためのプログラマブルスイッチエレメント（ＰＳＥ）が設けられる。
　マスターコントローラ１３は、データ処理回路１０の外部より制御信号ｃｏｎｔｒｏｌ　ｓｉｇｎａｌを受信し、データ処理回路１０の全体を制御する機能を有する。具体的には、データドライバ１４およびワードドライバ１５の動作制御、メモリコントローラ２１の制御、ニューラルネットワーク回路２０におけるコンテキスト切り替え等の制御を行う。
　クロック生成回路１２は、インターフェース１１で受信した基準クロック信号ｃｌｋをもとに、マスターコントローラ１３等の回路動作に用いるクロック信号を生成する。
　インターフェース１１は、データ処理回路１０の外部から、基準クロック信号ｃｌｋ、データ信号ｄａｔａを受信する機能を有する。インターフェース１１は、送受信に即した信号を変換する機能を有する。インターフェース１１としては、ＬＶＤＳ（Ｌｏｗ　Ｖｏｌｔａｇｅ　Ｄｉｆｆｅｒｅｎｔｉａｌ　Ｓｉｇｎａｌｉｎｇ）、ＭＩＰＩ（Ｍｏｂｉｌｅ　Ｉｎｄｕｓｔｒｙ　Ｐｒｏｃｅｓｓｏｒ　Ｉｎｔｅｒｆａｃｅ）などのインターフェースを用いることができる。
　データドライバ１４は、演算回路５０のメモリに書き込むためのデータ信号を生成する機能を有する。ワードドライバ１５は、演算回路５０のメモリにデータを書き込むための制御信号（例えばワード信号）を生成する機能を有する。
　積和演算回路４０は、積和演算を行う回路である。また、積和演算回路４０はマスターコントローラ１３の制御により複数種類の演算処理を切り替えることができる。そのため同じ回路リソースを用いながらも、入力データに応じた最適な演算処理を選択して演算することができる。積和演算回路４０における演算処理の切り替えについては、図９乃至図２６で詳細に説明する。
　インターフェース１１を介して入力されたデータ信号ｄａｔａは、レジスタ回路３１で保持される。レジスタ回路３１に格納されたデータは、所望のタイミングにて、メモリ２２に保存することができる。ニューラルネットワーク回路２０における演算途中で得られたデータは、メモリ２２に保存することができる。メモリ２２は、一例として、ＳＲＡＭ（Ｓｔａｔｉｃ　Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）を用いることができる。
　レジスタ回路３１に格納されたデータは、所望のタイミングにて、ニューラルネットワーク回路２０で演算に用いることができる。またレジスタ回路３１に格納されたデータは、所望のタイミングにて、演算ユニット２３にて、所望の処理を行うことができる。演算ユニット２３は、畳み込みニューラルネットワークによる演算処理を行う場合、プーリング演算処理および活性化関数による演算を行う回路である。活性化関数には、例えばシグモイド（ｓｉｇｍｏｉｄ）関数や、正規化線形関数（Ｒｅｃｔｉｆｉｅｄ　Ｌｉｎｅａｒ　Ｕｎｉｔ、以下、ＲｅＬＵ）、ハイパボリックタンジェント（ｔａｎｈ）関数、ステップ関数を適用することができる。
　データ入出力回路２４は、データ処理回路１０での演算によって得られた演算結果をデータ処理回路１０の外部にデータｏｕｔとして出力する回路である。
　ニューラルネットワーク回路２０が有する積和演算回路４０の機能について説明する。
　積和演算回路４０が有する複数の演算回路５０はそれぞれ、入力されるデータを保持するレジスタ回路を有する。また複数の演算回路はそれぞれ、結合強度（重み係数とも言う）に相当する重みデータを記憶するメモリを有する。重みデータは、コンテキストを切り替えるためのコンテキスト信号に応じて切り替えることができる。重みデータを記憶するメモリは、コンテキスト信号をデコードすることで対応する重みデータを出力することができる。積和演算回路４０が有する複数の演算回路５０はそれぞれ、重みデータと、入力データの積に応じた乗算データを生成する乗算回路を有する。乗算回路では乗算データが得られる。積和演算回路４０が有する複数の演算回路５０はそれぞれ、加算回路を有する。加算回路は、別の演算回路５０で得られたデータに乗算回路で得られた乗算データを加算することで加算データを得ることができる。積和演算回路４０が有する複数の演算回路５０はそれぞれ、乗算データ、加算データを保持するためのレジスタを有する。当該レジスタに保持されたデータは、所定のタイミングで別の演算回路５０に出力される。
　積和演算回路４０は、上述した演算回路間でのデータの入出力を切り替えることで、演算回路５０毎に異なる重み係数と入力データの積を実行させるとともに、別の演算回路５０で得られた加算データと、先に得られた乗算データとを足し合わせることで、積和演算を実行させることができる。そして演算回路５０を複数直列に配置し、得られるデータを次々にシフトさせることで膨大な数の積和演算を効率よく行うことができる。演算回路５０を有する積和演算回路４０では、複数の演算回路５０に保持された入力データにおいて、乗算データと加算データを、プロセッサのパイプライン処理のように演算回路５０間で同時に処理するとともに、複数の演算回路５０間で乗算データおよび加算データをシフトさせることで積和演算を実行することができる。そのため、限られたハードウェアで積和演算による演算処理を行う際、少ない回路リソースで超並列のデータ処理を効率よく実行することができる。
　図２（Ａ）は、積和演算回路４０が有する演算回路５０の一例を示すためのブロック図である。演算回路は、一例として、入力レジスタ５１、メモリ５２、乗算回路５３、加算回路５４、出力レジスタ５５Ａおよび出力レジスタ５５Ｂを有する。
　入力レジスタ５１には、入力信号ｓｉｎが入力される。入力レジスタ５１は、出力信号ｓｏｕｔを出力する。入力レジスタ５１は、乗算回路５３に入力データｓｄａｔａを出力する。
　メモリ５２は、コンテキスト信号ｃｏｎｔｅｘｔが入力される。メモリ５２は、コンテキストに応じたデータセットを有する。データセットは、積和演算処理に用いる複数の重みデータに相当するデータである。メモリは、コンテキスト信号に応じてコンテキストに応じた複数の重みデータの中から一つの重みデータを重みデータｃｍｏｕｔとして出力する。メモリ５２に格納した複数の重みデータは、例えば、畳み込み演算処理で用いるフィルタ数が多い場合などコンテキストを変更しながら演算する際に有効である。コンテキストを変更しながら演算することで、１つの乗算回路を使って様々な条件での乗算を行うことができる。
　乗算回路５３は、入力データｓｄａｔａと重みデータｃｍｏｕｔとの乗算によって乗算データｍｏｕｔを生成する。乗算データｍｏｕｔは、加算回路５４に出力される。出力レジスタ５５Ａに保持された乗算データｍｏｕｔは、別の演算回路５０に出力信号ｏｕｔ１として出力される。出力レジスタ５５Ａを介して乗算データｍｏｕｔを出力する構成とし、乗算を行った次のタイミングで、別の演算回路５０に乗算データｍｏｕｔを送信できる。また、信号の遅延によって演算結果に誤りがあることを防ぐことができる。
　出力信号ｏｕｔ１は、別の演算回路５０で入力加算データａｉｎとして入力される。信号の入出力の切り替えは、演算回路５０間にプログラマブルスイッチエレメントを配置することによって実現可能である。当該プログラマブルスイッチエレメントを制御することにより、所望のタイミングにて、所望の配線を接続し、演算回路間の信号の入出力を行うことができる。
　加算回路５４は、入力加算データａｉｎに乗算データｍｏｕｔを加算することによって加算データａｏｕｔを生成する。加算データａｏｕｔは、出力レジスタ５５Ｂに出力される。出力レジスタ５５Ｂに保持された加算データａｏｕｔは、別の演算回路５０に出力信号ｏｕｔ２として出力される。出力レジスタ５５Ｂを介して加算データａｏｕｔを出力する構成とすることで、信号の遅延によって演算結果に誤りがあることを防ぐことができる。
　出力信号ｏｕｔ２は、別の演算回路５０で入力加算データａｉｎとして入力される。信号の入出力の切り替えは、演算回路５０間にプログラマブルスイッチエレメントを配置することによって実現可能である。当該プログラマブルスイッチエレメントを制御することにより、所望のタイミングにて、所望の配線を接続し、演算回路間の信号の入出力を行うことができる。
　メモリ５２は不揮発性メモリを用いる。メモリ５２としては、酸化物半導体（Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ：ＯＳ）をチャネル形成領域に有するトランジスタ（ＯＳトランジスタ）を用いたＯＳメモリが有効である。ＯＳメモリの一例としては、ＤＯＳＲＡＭおよびＮＯＳＲＡＭがある。メモリ５２を演算回路５０毎に設けることで、積和演算回路４０外部に設ける場合と比べて、より高速且つ低消費電力に上記重みデータへのアクセス（読み出しおよび書き込み）をすることができる。
　なお、ＤＯＳＲＡＭ（登録商標）とは、「Ｄｙｎａｍｉｃ　Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ　ＲＡＭ」の略称であり、１Ｔ（トランジスタ）１Ｃ（容量）型のメモリセルを有するＲＡＭを指す。ＤＯＳＲＡＭは、ＯＳトランジスタのオフ電流が低いことを利用したメモリである。ＤＯＳＲＡＭは、ＯＳトランジスタを用いて形成されたＤＲＡＭである。ＤＯＳＲＡＭは、ＯＳトランジスタを含むメモリセルと、Ｓｉトランジスタを含む読み出し回路部を有する。上記メモリセルと読み出し回路部は、積層された異なる層に設けることができるため、ＤＯＳＲＡＭは、全体の回路面積を小さくすることができる。なお、ＤＯＳＲＡＭの詳細は後述する実施の形態３で説明を行う。
　ニューラルネットワークを用いた大規模並列計算は、入力データ数およびフィルタ数が１０００を超えることがある。上記入力データをＳＲＡＭに格納する場合、ＳＲＡＭはバス幅や回路面積に制限があり、記憶容量が小さいため、上記入力データを小分けにして格納せざるを得ない。ＤＯＳＲＡＭは、限られた回路面積でも積層することが可能であるため、メモリセルを高集積に配置することが可能である。
　また、ＮＯＳＲＡＭ（登録商標）とは「Ｎｏｎｖｏｌａｔｉｌｅ　Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ　ＲＡＭ」の略称であり、ゲインセル型（２Ｔ型、３Ｔ型）のメモリセルを有するＲＡＭを指す。ＮＯＳＲＡＭは、ＯＳトランジスタのオフ電流が低いことを利用したメモリである。
　ＮＯＳＲＡＭはＯＳトランジスタを用いたメモリである。ＮＯＳＲＡＭは、フラッシュメモリや、ＲｅＲＡＭ（Ｒｅｓｉｓｔｉｖｅ　Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、ＭＲＡＭ（Ｍａｇｎｅｔｏｒｅｓｉｓｔｉｖｅ　Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）などの他の不揮発性メモリと比べて、データを書き込む際の消費電力が小さい。また、フラッシュメモリやＲｅＲＡＭのように、データを書き込む際に素子が劣化することもなく、データの書き込み可能回数に制限が無い。また、フラッシュメモリやＲｅＲＡＭのように、素子が劣化することに伴うセル間のばらつきの問題もない。また、フラッシュメモリやＲｅＲＡＭのような２端子のメモリとは異なり、書き込みおよび読み出しのための回路が複雑にならない。なお、ＮＯＳＲＡＭの詳細は後述する実施の形態３で説明を行う。
　また、ＮＯＳＲＡＭは、１ビットの２値データの他に、２ビット以上の多値データを保持することができる。ＮＯＳＲＡＭは多値データを保持することで、１ビット当たりのメモリセル面積を小さくすることができる。また、ＮＯＳＲＡＭは、デジタルデータの他にアナログデータを保持することができる。ＮＯＳＲＡＭは、アナログデータのまま保持することができるため、Ｄ／Ａ変換回路やＡ／Ｄ変換回路が不要である。そのため、ＮＯＳＲＡＭは周辺回路の面積を小さくすることができる。
　なお演算回路５０は、図２（Ａ）の構成に限らない。図２（Ｂ）の構成とすることもできる。図２（Ｂ）に図示する演算回路５０は、図２（Ａ）の構成において出力レジスタ５５Ａ、５５Ｂを統合して出力レジスタ５５としている。また、出力レジスタ５５と、乗算回路５３および加算回路５４との間に、切り替え回路５６（マルチプレクサともいう）を有する。図２（Ｂ）の構成とすることで、加算データａｏｕｔまたは乗算データｍｏｕｔを切り替えて、出力信号ｏｕｔとして出力することができる。
　図３（Ａ）では、図２（Ａ）、（Ｂ）で説明した演算回路５０のブロック図についてさらに詳細に図示する。図３（Ａ）に示す演算回路５０では、図２（Ａ）、（Ｂ）で説明した構成に加えて、切り替え回路５６Ａ、メモリ回路５７Ａ、切り替え回路５６Ｂおよびメモリ回路５７Ｂを図示している。
　切り替え回路５６Ａは、入力データｓｄａｔａとして、入力信号ｓｉｎをそのまま乗算回路５３として出力するか、入力レジスタ５１に保持されたデータを出力するかを制御するための回路である。メモリ回路５７Ａは、コンテキスト信号ｃｏｎｔｅｘｔの切り替えに応じて、切り替え回路５６Ａ内の電気的な接続を切り替える機能を有する。また切り替え回路５６Ｂは、出力信号ｏｕｔ１またはｏｕｔ２として、乗算データｍｏｕｔ、加算データａｏｕｔ、あるいは入力加算データａｉｎを出力するかを制御するための回路である。メモリ回路５７Ｂは、コンテキスト信号ｃｏｎｔｅｘｔの切り替えに応じて、切り替え回路５６Ｂ内の電気的な接続を切り替える機能を有する。
　図３（Ａ）では、入力レジスタ５１、出力レジスタ５５Ａ、および出力レジスタ５５Ｂを制御するセット信号ｓｅｔおよびリセット信号ｒｅｓｅｔを図示している。セット信号ｓｅｔおよびリセット信号ｒｅｓｅｔによる制御に応じて乗算データｍｏｕｔまたは加算データａｏｕｔなどを所定のタイミングで出力する構成とするができるため、信号の遅延によって演算結果に誤りがあることを防ぐことができる。
　また図３（Ａ）では、メモリ５２に保持する重みデータの書き込みを制御するコンフィギュレーションデータｃｏｎｆｉｇｕｒａｔｉｏｎ　ｄａｔａおよびワード信号ｗｏｒｄを図示している。コンフィギュレーションデータｃｏｎｆｉｇｕｒａｔｉｏｎ　ｄａｔａおよびワード信号ｗｏｒｄを演算回路５０毎に別々に制御することで、演算回路５０ごとに設定した重みデータを個別に書き換え可能な構成とすることができる。
　図３（Ｂ）では、図３（Ａ）で説明した演算回路５０のブロック図についてさらに詳細に図示する。図３（Ｂ）に示す演算回路５０では、図３（Ａ）で説明した構成に加えて、パワースイッチ（ＰＳ）５８、メモリ回路５７Ｃを図示している。メモリ回路５７Ｃはコンテキスト信号ｃｏｎｔｅｘｔの切り替えに応じて、パワースイッチ５８のオンまたはオフを切り替えることができる。演算処理に使用しない演算回路５０でのパワースイッチ５８をオフにできる構成とすることで、多数の演算回路５０のうち、使用しない演算回路５０に関しては、リーク電流による消費電力を削減することができる。
図４にメモリ回路５７Ａの構成例を示す。メモリ回路５７Ａは、メモリセル９６＿０、９６＿１、トランジスタ９７＿０、９７＿１、９８を有する。メモリ回路５７Ａには、コンフィギュレーションデータ、切替え信号ｃｏｎｔｅｘｔ＿Ａ０、ｃｏｎｔｅｘｔ＿Ａ１、信号ｗｏｒｄＡ０、ｗｏｒｄＢ０、ｗｏｒｄＡ１、ｗｏｒｄＢ１が入力される。
メモリセル９６＿０、９６＿１は、それぞれ、ＮＯＳＲＡＭとして機能する２個のメモリ回路で構成される。メモリセル９６＿０にコンフィギュレーションデータ“１”を書き込む場合は、信号ｗｏｒｄＡ０を“Ｈ”にし、信号ｗｏｒｄＢ０、ｗｏｒｄＡ１およびｗｏｒｄＢ１を“Ｌ”にする。メモリセル９６＿１にコンフィギュレーションデータ“０”を書き込む場合は、信号ｗｏｒｄＢ０を“Ｈ”にし、信号ｗｏｒｄＡ０、ｗｏｒｄＡ１、ｗｏｒｄＢ１を“Ｌ”にする。
切り替え回路５６Ａへ制御信号を出力する間は、トランジスタ９８はオフ状態である。切替え信号ｃｏｎｔｅｘｔ＿Ａ０、ｃｏｎｔｅｘｔ＿Ａ１により、トランジスタ９７＿０、９７＿１の何れか一方がオン状態になる。例えば、トランジスタ９７＿０がオンになると、メモリセル９６＿０の保持データに応じた論理の制御信号が、切り替え回路５６Ａに出力される。
メモリ回路５７Ｂ、５７Ｃは、メモリ回路５７Ａと同じ回路構成をもつ。
　また図５（Ａ）では、図２で説明した演算回路５０のブロック図において図示した乗算データｍｏｕｔを入力データｓｄａｔａと重みデータｃｍｏｕｔとの乗算で得られるデータであることを明示するため、「ｓｄａｔａ＊ｃｍｏｕｔ」として図示している。同様に、図５（Ａ）では、図２で説明した演算回路５０のブロック図において図示した加算データａｏｕｔを入力加算データａｉｎに乗算データｍｏｕｔを加算して得られるデータであることを明示するため、「ａｉｎ＋（ｓｄａｔａ＊ｃｍｏｕｔ）」として図示している。
　また図５（Ｂ）には、演算回路５０を略記して図示する場合のシンボルを図示している。図５（Ｂ）に図示するように演算回路５０に向いた矢印は演算回路５０に入力されるデータ、つまり入力信号ｓｉｎ（または入力データｓｄａｔａでもよい）、入力加算データａｉｎを表している。また、図５（Ｂ）に図示するように演算回路５０から逆に向いた矢印は演算回路５０から出力されるデータ、つまり出力信号ｏｕｔ１、ｏｕｔ２（または乗算データｍｏｕｔ、加算データａｏｕｔでもよい）、出力信号ｓｏｕｔを表している。
　図５（Ｂ）での表記について図６乃至図８を用いてさらに詳細に説明する。
　図６（Ａ）は、図５（Ｂ）のシンボルとして図示した演算回路５０＿１乃至５０＿ｎ（ｎは２以上の自然数）を水平方向（行方向ともいう）に複数配置する場合を示す図である。また図６（Ｂ）は、図６（Ａ）のように配置する場合を、図３（Ａ）に図示した演算回路５０の切り替え回路５５Ａ、５５Ｂおよび出力レジスタ５５Ａ、５５Ｂの構成を簡略化したものを用いて説明する図である。図６（Ａ）、（Ｂ）で示す図は、乗算データの生成、および加算データの生成を、複数の演算回路５０＿１乃至５０＿ｎ内で並列に処理する場合の動作を表している。
　具体的には演算回路間を入出力されるデータを図６（Ｂ）の矢印のように表している。隣接する演算回路、例えば演算回路５０＿１と演算回路５０＿２との間では、演算回路５０＿１が出力する出力データは、演算回路５０＿２の入力加算データとして入力される。また演算回路５０＿２と演算回路５０＿３との間では、演算回路５０＿２が出力する出力データは、演算回路５０＿３の入力加算データとして入力される。また演算回路５０＿１と演算回路５０＿ｎとの間では、演算回路５０＿ｎが出力する出力データは、演算回路５０＿１の入力加算データとして入力される。つまり演算回路毎に異なる入力データと異なる重みデータとの乗算データを生成するとともに、前段の演算回路より入力される入力加算データに当該乗算データを加える演算処理を、複数の演算回路５０＿１乃至５０＿ｎで並列に処理することができる。
　また図７（Ａ）は、図５（Ｂ）のシンボルとして図示した演算回路５０＿１乃至５０＿３を垂直方向（列方向ともいう）に複数配置する場合を示す図である。また図７（Ｂ）は、図７（Ａ）のように配置する場合を、図３（Ａ）に図示した演算回路５０の切り替え回路５５Ａ、５５Ｂおよび出力レジスタ５５Ａ、５５Ｂの構成を簡略化したものを用いて説明する図である。図７（Ａ）、（Ｂ）で示す図は、各演算回路５０＿１乃至５０＿３の入力レジスタ回路への入力データの書き込みを、他の演算回路を介して行う場合の動作を表している。
　具体的には演算回路間を入出力されるデータを図７（Ｂ）の矢印のように表している。隣接する演算回路、例えば演算回路５０＿１と演算回路５０＿２との間では、演算回路５０＿１が出力する出力信号ｓｏｕｔは、演算回路５０＿２の入力信号ｓｉｎとして入力される。また演算回路５０＿２と演算回路５０＿３との間では、演算回路５０＿２が出力する出力信号ｓｏｕｔは、演算回路５０＿３の入力信号ｓｉｎとして入力される。つまり演算回路を介して電気的に接続された演算回路に信号を入力することができる。
　また図８（Ａ）は、図７（Ａ）と同様に、図５（Ｂ）のシンボルとして図示した演算回路５０＿１乃至５０＿３を垂直方向（列方向ともいう）に複数配置する場合を示す図である。また図８（Ｂ）は、図８（Ａ）のように配置する場合を、図３（Ａ）に図示した演算回路５０の切り替え回路５５Ａ、５５Ｂおよび出力レジスタ５５Ａ、５５Ｂの構成を簡略化したものを用いて説明する図である。図８（Ａ）、（Ｂ）で示す図は、図７（Ａ）、（Ｂ）で図示した乗算データの生成および加算データの生成による積和演算データの加算回路４１への出力を、他の演算回路を介して行う場合の動作を表している。
　具体的には演算回路間を入出力されるデータを図８（Ｂ）の矢印のように表している。隣接する演算回路、例えば演算回路５０＿１と演算回路５０＿２との間では、演算回路５０＿１が出力する出力信号ｏｕｔ１、ｏｕｔ２は、切り替え回路５６の切り替えによって加算回路５４を介することなく、演算回路５０＿２の入力加算データ信号ａｉｎとして入力される。また演算回路５０＿２と演算回路５０＿３との間では、演算回路５０＿２が出力する出力信号ｏｕｔ１、ｏｕｔ２は、切り替え回路５６の切り替えによって加算回路５４を介することなく、演算回路５０＿３の入力加算データ信号ａｉｎとして入力される。つまり演算回路を介して電気的に接続された演算回路に信号を転送することができる。
　次いで図９乃至図２６では、上記ニューラルネットワーク回路の動作を説明する。具体的には、畳み込みニューラルネットワークの演算処理を行う際のニューラルネットワーク回路の動作、特に演算回路間での積和演算処理について詳述する。
　まず以下の動作の説明で行う畳み込みニューラルネットワークの演算処理の流れについて説明する。図９（Ａ）には、畳み込みニューラルネットワークの演算処理の流れを示す。
　図９（Ａ）では、入力層６１、中間層６２（隠れ層ともいう）、出力層６３を図示している。入力層６１では、入力データの入力処理７０（図中、Ｉｎｐｕｔと図示）を図示している。中間層６２では、畳み込み演算処理７２、７３、７５（図中、Ｃｏｎｖと図示）、複数のプーリング演算処理７４、７６（図中、Ｐｏｏｌ．と図示）を図示している。出力層６３では、全結合演算処理７７（図中、Ｆｕｌｌと図示）を図示している。入力層６１、中間層６２、出力層６３における演算処理の流れは一例であり、実際の畳み込みニューラルネットワークの演算処理では、ソフトマックス演算などの他の演算処理を行うことがあり得る。
　図９（Ａ）に図示する畳み込みニューラルネットワークを、図１のデータ処理回路１０を用いて行う際の演算処理について図９（Ｂ）に可視化して図示する。
　図９（Ｂ）に図示するように、図１のデータ処理回路１０を用いて行う演算処理は、まず入力データ７１をフィルタ８２と積和演算して畳み込む（畳み込み演算処理７２）を行う。
　なお入力データ７１は、２０（縦方向）×２０（横方向）でチャンネル方向（奥行き方向）が１のデータを一例として図示している。図１のデータ処理回路１０を用いて行う際の演算処理は、入力データ７１としてＭＮＩＳＴ（Ｍｉｘｅｄ　Ｎａｔｉｏｎａｌ　Ｉｎｓｔｉｔｕｔｅ　ｏｆ　Ｓｔａｎｄａｒｄｓ　ａｎｄ　Ｔｅｃｈｎｏｌｏｇｙ　ｄａｔａｂａｓｅ：手書きの数字「０乃至９」に正解ラベルが与えられているデータセット）を用いて行う、畳み込みニューラルネットワーク（ＣＮＮ）を想定している。なお図中、シンボル８１は積和演算、ここでは入力データ７１とフィルタ８２との積和演算を表している。また畳み込み演算処理７２を行うためのフィルタ８２は、３×３の９つのフィルタ（図中、３×３　Ｆｉｌ．９と図示）で構成され、ストライドは１とする。また、ゼロパディングは行わない。
　入力データ７１とフィルタ８２との積和演算を行ったデータは、積和演算回路４０の外部にある演算ユニット２３にて、ＲｅＬＵによる処理を行うことでデータ８４を得る。データ８４は、畳み込み演算処理７２によって、１８×１８で９チャンネルのデータとなる。なお図中、シンボル８３は活性化関数である正規化線形関数（Ｒｅｃｔｉｆｉｅｄ　Ｌｉｎｅａｒ　Ｕｎｉｔ）による処理、ここでは積和演算によって得られたデータに対してＲｅＬＵによる処理を行うことを表している。
　データ８４は、フィルタ８５と積和演算して畳み込み演算処理７３を行う。畳み込み演算処理７３を行うためのフィルタ８５は、３×３の８１のフィルタ（図中、３×３　Ｆｉｌ．８１と図示）で構成される。データ８４とフィルタ８２との積和演算を行ったデータは、積和演算回路４０の外部にある演算ユニット２３にて、ＲｅＬＵによる処理を行うことでデータ８６を得る。データ８６は、畳み込み演算処理７３によって、１６×１６で９チャンネルのデータとなる。
　データ８６は、積和演算回路４０の外部にある演算ユニット２３にて、プーリング演算処理７４を行う。プーリング演算処理７４では、一例としてｍａｘ　ｐｏｏｌｉｎｇを行う。プーリング演算処理７４は、２×２のサイズのフィルタで行う。プーリング演算処理されたデータをデータ８７とする。データ８７は、プーリング演算処理７４によって、８×８で９チャンネルのデータとなる。
　データ８７は、フィルタ８８と積和演算して畳み込み演算処理７５を行う。畳み込み演算処理７５を行うためのフィルタ８８は、３×３の８１のフィルタ（図中、３×３　Ｆｉｌ．８１と図示）で構成される。フィルタ８８は入力の各チャンネルに対して、それぞれ９種類のフィルタを有するため、合計８１の異なるフィルタとなる。データ８７とフィルタ８８との積和演算を行ったデータは、積和演算回路４０の外部にある演算ユニット２３にて、ＲｅＬＵによる処理を行うことでデータ８９を得る。データ８９は、畳み込み演算処理７５によって、６×６で９チャンネルのデータとなる。
　データ８９は、積和演算回路４０の外部にある演算ユニット２３にて、プーリング演算処理７６を行う。プーリング演算処理７６では、一例としてｍａｘ　ｐｏｏｌｉｎｇを行う。プーリング演算処理７６は、２×２のサイズのフィルタで行う。プーリング演算処理されたデータをデータ９０とする。データ９０は、プーリング演算処理７６によって、３×３で９チャンネルのデータ、８１個のデータとなる。
　データ９０は、重みパラメータ９１と積和演算して全結合演算処理７７を行う。全結合演算処理７７を行うための重みパラメータ９１は、入力数が８１個、出力数は１０個であることから、８１０種類ある。全結合演算処理７７したデータをデータ９２とする。データ９２は、全結合演算処理７７によって、１０個のデータとなる。
　次いで図１０乃至図２６を用いて、図１で示した、積和演算回路４０を有するデータ処理回路１０が図９（Ｂ）に図示する演算処理を行う際の動作について説明する。
　図１０（Ａ）は、図１でも示した、積和演算回路４０を図示している。図１０（Ａ）では、畳み込み演算処理７２、７３および７５を行う際に必要な演算回路５０をマトリクス状に図示している。また図１０（Ａ）は、加算回路４１を併せて図示している。
　なお演算回路５０間の電気的な接続は、上述したようにプログラマブルスイッチエレメントによって切り替えることができる。図１０（Ｂ）には、演算回路５０間のプログラマブルスイッチエレメントＰＳＥについて図示している。プログラマブルスイッチエレメントＰＳＥは、コンフィギュレーションメモリおよびスイッチを組み合わせて構成すればよい。コンフィギュレーションメモリは、ＳＲＡＭあるいはＯＳトランジスタを用いたメモリを用いることができる。ＯＳトランジスタを用いたプログラマブルスイッチエレメントは、トランジスタ等の素子を積層して設けることができるため、集積化の点で有利である。
　次いで図１１（Ａ）では、図９（Ｂ）で説明した畳み込み演算処理７２を抜き出したものである。
　図１１（Ｂ）は、入力データ７１を可視化した図である。Ｄ１１乃至Ｄ１ｋを行方向（横方向）のデータ、Ｄ１１乃至Ｄｋ１を列方向（縦方向）のデータとして図示している。図１１（Ｂ）中太線で囲ったデータＤ１１乃至Ｄ３３（つまり、Ｄ１１，Ｄ１２，Ｄ１３，Ｄ２１，Ｄ２２，Ｄ２３，Ｄ３１，Ｄ３２，Ｄ３３の９つ）は、３×３のフィルタとの間で積和演算を行うデータを表している。
　なお入力データ７１に限らず、図９（Ｂ）で説明したデータ８４、８６、８７および８９等の入力データに畳み込み演算処理を行い得られるデータについても、図１１（Ｂ）に表す入力データ７１と同様に図示することができる。そのためデータ８４、８６、８７および８９を、入力データという場合もある。
　また図１１（Ｃ）は、フィルタ８２で用いられるフィルタを可視化した図である。９つのチャンネルは、図１１（Ｃ）のように３×３のフィルタである、フィルタ８２＿１乃至８２＿９（Ｆ１乃至Ｆ９）で表すことができる。例えばフィルタ８２＿１は、３×３で重みデータを有する。図１１（Ｃ）では重みデータｗ１乃至ｗ９を図示している。
　なおフィルタ８２に限らず、図９（Ｂ）で説明したフィルタ８５、８８および９１等のその他の畳み込み演算処理および全結合演算処理等に用いられるフィルタについても、図１１（Ｃ）に表すフィルタ８２と同様に図示することができる。
　図１２乃至図１５は、図１０（Ａ）で示した積和演算回路４０による、図１１（Ｂ）、（Ｃ）に示す入力データ７１およびフィルタ８２を用いた畳み込み演算処理７２を行う際の動作を説明するための図である。
　畳み込み演算処理７２は、図１２（Ａ）に図示するように、図１０（Ａ）で示した積和演算回路４０における９×９の演算回路５０を用いて行う。図１２（Ａ）では、演算回路５０を縦横に配置するとともに、行（ｒｏｗ）方向および列（ｃｏｌｕｍｎ）方向を併せて図示している。行方向は、入力データである画像データのシフト（ｐｉｘｅｌ　ｄａｔａ　ｓｈｉｆｔ）方向となる。また列方向は、入力データと重みデータとの乗算で得られる乗算データのシフト（ｍｕｌｔｉｐｌｙ　ｄａｔａ　ｓｈｉｆｔ）方向となる。
　また図１２（Ａ）において、行方向の１行目の演算回路５０には、それぞれフィルタＦ１、つまりフィルタ８２＿１の重みデータｗ１乃至ｗ９を列毎にセットする。例えば１行１列目の演算回路５０にｗ１、１行２列目の演算回路５０にｗ２、１行３列目の演算回路５０にｗ３のように順に重みデータをセットする。セットは、コンテキスト信号によるコンテキストの切り替えで行うことができる。
　次いで、行方向の２行目の演算回路５０には、フィルタＦ２をセットする。同様に行方向の３乃至９行目の演算回路５０には、フィルタＦ３乃至Ｆ９の重みデータをセットする。
　コンテキスト「１」で上記の重みデータのセットとなるようにする。１行１列の演算回路５０にて、乗算結果であるＤ１１×Ｗ１ができる。それを順に列方向にシフトしていく。また、１行１列目の入力データＤ１１は、次のタイミングで行方向にシフトさせる。そして１行目と同様に列方向に乗算データをシフトさせる。２行目の演算回路５０にはフィルタＦ２、つまりフィルタ８２＿２の重みデータがセットされており、フィルタＦ２の各重みデータと入力データの乗算データが列方向にシフトするようになる。
　２行目以降にも入力データがシフトし、セットされたフィルタＦ３乃至Ｆ９、つまりフィルタ８２＿３乃至８２＿９の重みデータと入力データとの乗算データを生成し、列方向にシフトするようにする。１乃至９行目の９列目の演算回路５０は、各フィルタ（Ｆ１乃至Ｆ９）のいずれか一つと入力データの積和演算に相当する出力データが得られる。１乃至９行目の９列目の端子は、ｏｕｔ１乃至ｏｕｔ９として図示している。
　図１２（Ａ）の動作をまとめると、図１２（Ｂ）のように表すことができる。畳み込み演算処理７２を行う際、コンテキストで固定するため、コンテキスト信号ｃｏｎｔｅｘｔは１である。時刻Ｔ０から開始して、時刻Ｔ８以降において、１行目の９列目の演算回路５０で３×３の入力データＤ１１乃至Ｄ３３（図１１（Ｂ）中太線で囲ったデータ）とフィルタＦ１との積和演算（Ｉｎ×Ｆ１）がｏｕｔ１で得られる。行方向にデータをシフトさせるため、１行目の９列目の演算回路５０で３×３の入力データＤ１１乃至Ｄ３３（図１１（Ｂ）中太線で囲ったデータ）とフィルタＦ２乃至Ｆ９のいずれか１つとの積和演算がｏｕｔ２乃至ｏｕｔ９も得られる。入力データ７１は、行方向に入力データＤ１２乃至Ｄ１４、入力データＤ２２乃至Ｄ２４、および入力データＤ２２乃至Ｄ２４（つまり、Ｄ１２，Ｄ１３，Ｄ１４，Ｄ２２，Ｄ２３，Ｄ２４，Ｄ３２，Ｄ３３，Ｄ３４の９つ）としてシフトさせることで、フィルタＦ１乃至Ｆ９との乗算データを入力データ７１の全座標との間で得ることができる。
　より具体的な例について図１３乃至図１５で説明する。
　図１３（Ａ）は時刻Ｔ０での演算回路５０に保持された入力データを可視化した図である。行方向の矢印は、入力データのシフト方向を表している。列方向の矢印は、乗算データのシフト方向を表している。なお図中に付した「ＢＬ」は、入力データが入力された演算回路の入力データのシフト方向にある演算回路５０を表している。なお図中、空白として図示している演算回路５０は、前行の演算回路５０からの入力データのシフトがない演算回路５０であり、パワーゲーティング可能な演算回路５０である。図１３（Ａ）に示すように時刻Ｔ０では、１行１列目の演算回路５０に入力データであるＤ１１が入力される。そして１行１列目の演算回路５０では、コンテキスト切り替えによって保持される重みデータｗ１との乗算データを生成する。
　図１３（Ｂ）は時刻Ｔ１での演算回路５０に保持された入力データを可視化した図である。図１３（Ａ）に示すように時刻Ｔ１では、１行１列目の入力データＤ１１がシフトして２行１列目の演算回路５０に入力される。また１行１列目および１行２列目の演算回路５０に入力データＤ１２が入力される。そして入力データＤ１２とコンテキスト切り替えによって保持される重みデータｗ１との乗算データ、入力データＤ１２とコンテキスト切り替えによって保持される重みデータｗ２との乗算データ、を生成する。同時に入力データＤ１１とフィルタＦ２の重みデータとの乗算データの生成が行われる。なお時刻Ｔ１において、１行２列目の演算回路５０では、時刻Ｔ０で生成された入力データＤ１１と重みデータｗ１との乗算データに、時刻Ｔ１で得られた入力データＤ１２と重みデータｗ１との乗算データが加算された加算データが列方向にシフトする。
　図１４（Ａ）は時刻Ｔ２での演算回路５０に保持された入力データを可視化した図である。図１４（Ａ）に示すように時刻Ｔ２では、２行１列目の入力データＤ１１がシフトして３行１列目の演算回路５０に入力される。また１行１列目の入力データＤ１２、および１行２列目の入力データＤ１２がシフトして２行１列目の演算回路５０、２行２列目の演算回路５０にそれぞれ入力される。また１行１列目、１行２列目、および１行３列目の演算回路５０に入力データＤ１３が入力される。そして入力データＤ１３とコンテキスト切り替えによって保持される重みデータｗ１との乗算データ、入力データＤ１３とコンテキスト切り替えによって保持される重みデータｗ２との乗算データ、および入力データＤ１３とコンテキスト切り替えによって保持される重みデータｗ３との乗算データ、を生成する。同時に入力データＤ１１とフィルタＦ３の重みデータとの乗算データの生成、入力データＤ１２とフィルタＦ２の重みデータとの乗算データの生成が行われる。なお時刻Ｔ２において、１行３列目の演算回路５０では、時刻Ｔ２で生成された加算データに、時刻Ｔ２で得られた入力データＤ１３と重みデータｗ３との乗算データが加算された加算データが列方向にシフトする。
　図１４（Ｂ）は時刻Ｔ３での演算回路５０に保持された入力データを可視化した図である。図１４（Ｂ）に示すように時刻Ｔ３では、３行１列目の入力データＤ１１がシフトして４行１列目の演算回路５０に入力される。また２行１列目の入力データＤ１２、および２行２列目の入力データＤ１２がシフトして３行１列目の演算回路５０、３行２列目の演算回路５０にそれぞれ入力される。また１行１列目のＤ１３、１行２列目の入力データＤ１３、および１行３列目の入力データＤ１３がシフトして２行１列目の演算回路５０、２行２列目の演算回路５０、２行３列目の演算回路５０にそれぞれ入力される。また１行１列目、１行２列目、および１行３列目の演算回路５０に入力データである入力データＤ１４が、１行４列目の演算回路５０にＤ２１が入力される。そして入力データＤ１４とコンテキスト切り替えによって保持される重みデータｗ１との乗算データ、入力データＤ１４とコンテキスト切り替えによって保持される重みデータｗ２との乗算データ、入力データＤ１４とコンテキスト切り替えによって保持される重みデータｗ３との乗算データ、および入力データＤ２１とコンテキスト切り替えによって保持される重みデータｗ４との乗算データを生成する。同時に入力データＤ１１とフィルタＦ４の重みデータとの乗算データの生成、入力データＤ１２とフィルタＦ３の重みデータとの乗算データ、および入力データＤ１３とフィルタＦ２の重みデータとの乗算データの生成が行われる。なお時刻Ｔ３において、１行４列目の演算回路５０では、時刻Ｔ３で生成された加算データに、時刻Ｔ３で得られた入力データＤ２１とｗ４との乗算データが加算された加算データが列方向にシフトする。
　時刻Ｔ４乃至Ｔ７においても入力データのシフトおよび乗算データと加算データとを加算したデータのシフトによって図１５（Ａ）に図示する時刻Ｔ８の状態となる。
　図１５（Ａ）に示す時刻Ｔ８では、入力データＤ１１が９行１列目までシフトし、１行９列目に入力データＤ３３が入力され、重みデータｗ９との乗算データが生成されるともに、１行８列目で生成された積和演算結果である加算データと加算して得られる加算データを生成する。この加算データは、ｏｕｔ１から出力される。この加算データは、３×３の入力データＤ１１乃至Ｄ３３と、フィルタＦ１の重みデータｗ１乃至ｗ９の積和演算、すなわちＤ１１・ｗ１＋（略）＋Ｄ３３・ｗ９である。この演算結果は、図１１（Ｂ）の太線で囲った入力データと、フィルタＦ１との積和演算の一部に相当する。
　図１５（Ｂ）に示す時刻Ｔ９では、入力データＤ１２が９行１列目までシフトし、２行９列目に入力データＤ３３が入力され、重みデータｗ９との乗算データが生成されるともに、１行８列目で生成された積和演算結果である加算データと加算して得られる加算データを生成する。この加算データは、ｏｕｔ２から出力される。この加算データは、入力データＤ１１乃至Ｄ３３とフィルタＦ２の重みデータの積和演算である。この演算結果は、図１１（Ｂ）の太線で囲った入力データと、フィルタＦ２との積和演算に相当する。
　本実施の形態のニューラルネットワーク回路の構成では、各演算回路において乗算データおよび加算データを効率よく生成し、積和演算を効率よく行うことができる。そのため、ニューラルネットワーク回路において入力データおよび重みデータ等の増大に伴って、回路規模の大型化が問題となるが、この問題を解消することができる。つまり、同じ回路を用いて異なる処理の積和演算を行う構成とすることができるため、回路リソースの有効活用を図ることができる。
　図１６乃至図２１は、図１１（Ｂ）、（Ｃ）に示す各データを用いて図１０（Ａ）で示した積和演算回路４０による畳み込み演算処理７３、７５を行う際の動作を説明するための図である。
　図１６（Ａ）、（Ｂ）は、図９（Ｂ）で説明した畳み込み演算処理７３、７５を抜き出したものである。畳み込み演算処理７３、７５は、図１０で示した積和演算回路４０における９×９の演算回路５０を用いて行う。図１６（Ｃ）では、図１２（Ａ）と同様に演算回路５０を縦横に配置するとともに、行（ｒｏｗ）方向および列（ｃｏｌｕｍｎ）方向を図示している。列方向は、入力データ（データ８４または８７に相当）と重みデータ（フィルタ８５またはフィルタ８８が有する重みデータ）とによって得られる積和演算データのシフト（ＭＡＣ　ｄａｔａ　ｓｈｉｆｔ）方向となる。
　図１６（Ｃ）において、１列目の演算回路５０には入力データＤ１１（以下、Ｄ１１のように略記）、２列目の演算回路５０にはＤ１２といったように入力データを列毎にセットする。この入力データのセットは、１行目からデータをシフトさせて全行に書き込んでセットしておく。その結果図１６（Ｃ）に図示するように各列にＤ１１乃至Ｄ３３がセットされる。ただし、演算回路５０は、行方向で各入力チャンネルにおける積和演算処理を行うとする。従って、１行目は入力チャンネル１に対応するデータ、２行目は入力チャンネル２に対応するデータとし、９行目は入力チャンネル９に対応するデータとする。また図１６（Ｃ）において、行方向の１行目の演算回路５０には、入力チャンネル１に対して演算するための９種類のフィルタＦ１０乃至Ｆ１８（以下、Ｆ１０乃至Ｆ１８のように略記））の重みデータを列毎にセットする。コンテキストのセット、つまりフィルタのセットと、先にセットされたＤ１１乃至Ｄ３３との乗算によって乗算データを得て、乗算結果を次列の演算回路５０に加算データとして出力して、積和演算を実行する構成とする。例えばコンテキスト２で１行１列目の演算回路５０にＦ１０の重みデータ、１行２列目の演算回路５０にＦ１１の重みデータ、１行３列目の演算回路５０にＦ１２の重みデータのように重みデータをセットする。コンテキスト３以降は演算回路５０に対応するフィルタを列方向にシフトさせる。９列目の演算回路５０に対応していたフィルタは、１列目に戻る。例えばコンテキスト３で１行１列目の演算回路５０にＦ１８の重みデータ、１行２列目の演算回路５０にＦ１０の重みデータ、１行３列目の演算回路５０にＦ１１の重みデータのように重みデータをセットする。セットした重みデータは、コンテキストの切り替えで別のフィルタの重みデータに切り替えることができる。
　同時に２行目以降の演算回路５０でも、フィルタに応じた重みデータをセットする。例えばコンテキスト２で２行１列目の演算回路５０にＦ１９の重みデータ、２行２列目の演算回路５０にＦ２０の重みデータ、２行３列目の演算回路５０にＦ２１の重みデータのように重みデータをセットする。コンテキスト３以降は演算回路５０に対応するフィルタを列方向にシフトさせる。９列目の演算回路５０に対応していたフィルタは、１列目に戻る。例えばコンテキスト３で２行１列目の演算回路５０にＦ２７の重みデータ、２行２列目の演算回路５０にＦ１９の重みデータ、２行３列目の演算回路５０にＦ２０の重みデータのように重みデータをセットする。セットした重みデータは、コンテキストの切り替えで別のフィルタの重みデータに切り替えることができる。コンテキストの切り替えが、フィルタのシフトを演算回路９列分を一巡りするまで行う。つまりコンテキスト２からコンテキスト１０まで切り替える。
　積和演算結果のシフトによって得られた積和演算データは、加算回路４１に読み出される。加算回路４１では、同じ列での積和演算データを足しあわせる。そして得られるデータを、積和演算回路４０の外部にある演算ユニット２３にて、ＲｅＬＵによる処理を行うことで得られるデータが畳み込み演算処理後のデータに相当する。
　上述した図１６（Ｃ）の動作をまとめると、図１６（Ｄ）のように表すことができる。畳み込み演算処理７３、７５を行う際、Ｄ１１乃至Ｄ３３と異なるフィルタとの積和演算を実行するため、コンテキスト信号ｃｏｎｔｅｘｔを２乃至１０に切り替える。時刻Ｔｗｒｉｔｅ１でＤ１１乃至Ｄ３３を演算回路５０にセットした後、時刻Ｔ１０乃至Ｔ１８でコンテキスト信号を２乃至１０を切り替える。３×３の入力データであるＤ１１乃至Ｄ３３と９つのフィルタとの積和演算が各行各列の演算回路５０で得られた後、時刻Ｔｒｅａｄ１で加算回路４１に読み出し、畳み込み演算処理を行ったデータ（ＣＨ１−９　Ｄ１１−Ｄ３３）を得る。そして各演算回路５０に次の入力データとしてＤ１２乃至Ｄ３４をセットし（時刻Ｔｗｒｉｔｅ２）、コンテキスト２乃至１０を切り替えて各行において積和演算を実行する。
　より具体的な例について図１７乃至図２０で説明する。
　図１７（Ａ）は時刻Ｔｗｒｉｔｅ１での演算回路５０に保持された入力データを可視化した図である。
　図１７（Ａ）に図示するように、各列にＤ１１乃至Ｄ３３をセットする。なお演算回路５０内のメモリ５２には、重みデータのセットが書き込まれている。重みデータのセットは、コンテキストの切り替えに対応して切り替えられる。
　図１７（Ｂ）は時刻Ｔ１０での演算回路５０に保持された入力データを可視化した図である。
　時刻Ｔ１０では、コンテキスト信号の切り替えにより、コンテキスト「２」として、乗算するためのフィルタを図１７（Ｂ）に図示するよう演算回路５０にセットする。図１７（Ｂ）において列方向の矢印は、乗算データ、あるいは乗算データに前列の加算データを加算した加算データのシフト方向を表している。同じ行にある演算回路５０間に付した「Ｆ１０」等は、フィルタＦ１０との積和演算するためのフィルタである。演算で得られるデータは、前列の加算データを加算して、データのシフト方向にある演算回路５０に加算データとして出力される。
　例えば１行目の演算回路５０での動作に着目して説明すると、Ｄ１１が保持された１列目の演算回路５０は、フィルタＦ１０との演算を行う。得られたデータを２列目の演算回路５０に出力する。同時に、Ｄ１２が保持された２列目の演算回路５０は、フィルタＦ１１との演算を行う。得られたデータを３列目の演算回路５０に出力する。３列目乃至８列目の演算回路５０においても、それぞれフィルタＦ１２乃至Ｆ１７との演算を行い、得られたデータを演算回路５０に出力する。同時に、Ｄ３３が保持された９列目の演算回路５０は、フィルタＦ１８との演算を行う。得られたデータを１列目の演算回路５０に出力する。２行目以降も保持している入力データとフィルタとの演算を行い、演算回路５０に出力する。
　図１８（Ａ）は時刻Ｔ１１での演算回路５０に保持された入力データを可視化した図である。
　時刻Ｔ１１では、コンテキスト信号の切り替えにより、コンテキスト「３」として、乗算するためのフィルタを図１８（Ａ）に図示するように演算回路５０にセットする。例えば１行目の演算回路５０での動作に着目して説明すると、Ｄ１１が保持された１列目の演算回路５０は、フィルタＦ１８との演算を行う。得られたデータを９列目の演算回路５０から出力されたデータに加算して２列目の演算回路５０に出力する。同時に、Ｄ１２が保持された２列目の演算回路５０は、フィルタＦ１０との演算を行う。得られたデータを１列目の演算回路５０から出力されたデータに加算して３列目の演算回路５０に出力する。３列目乃至８列目の演算回路５０においても、それぞれフィルタＦ１１乃至Ｆ１６との演算を行い、得られたデータを演算回路５０に出力する。同時に、Ｄ３３が保持された９列目の演算回路５０は、フィルタＦ１７との演算を行う。得られたデータを８列目の演算回路５０から出力されたデータに加算して１列目の演算回路５０に出力する。２行目以降も保持しているデータとフィルタとの演算を行い、演算回路５０に出力する。時刻Ｔ１２乃至時刻Ｔ１７においても、コンテキスト信号の切り替えにより、コンテキスト「３乃至９」として、下記演算回路５０で乗算するための重みデータをセットし、保持している入力データとフィルタとの演算を行い、演算回路５０に出力することを行う。
　図１８（Ｂ）は時刻Ｔ１８での演算回路５０に保持された入力データを可視化した図である。
　時刻Ｔ１８では、コンテキスト信号の切り替えにより、コンテキスト「１０」として、下記演算回路５０で乗算するためのフィルタを図１８（Ｂ）に図示するようにセットする。例えば１行目の演算回路５０での動作に着目して説明すると、Ｄ１１が保持された１列目の演算回路５０は、フィルタＦ１１との演算を行う。得られたデータを９列目の演算回路５０から出力されたデータに加算して２列目の演算回路５０に出力する。ここで２列目の演算回路５０に出力されるデータは、１列目、および３乃至９列目の演算回路５０で乗算されたデータを加算して得られた積和演算のデータである。同時に、Ｄ１２が保持された２列目の演算回路５０は、フィルタＦ１２との演算を行う。得られたデータを１列目の演算回路５０から出力されたデータに加算して３列目の演算回路５０に出力する。ここで３列目の演算回路５０に出力されるデータは、１列目、２列目、および４乃至９列目の演算回路５０で乗算されたデータを加算して得られた積和演算のデータである。３列目乃至８列目の演算回路５０においても、それぞれフィルタＦ１３乃至Ｆ１８との演算を行い、得られたデータを演算回路５０に出力する。同時に、Ｄ３３が保持された９列目の演算回路５０は、フィルタＦ１０との演算を行う。得られたデータを８列目の演算回路５０から出力されたデータに加算して１列目の演算回路５０に出力する。ここで１列目の演算回路５０に出力されるデータは、２乃至９列目の演算回路５０で乗算されたデータを加算して得られた積和演算のデータである。２行目以降も保持している入力データとフィルタとの積和演算を行い、演算回路５０に出力する。つまり時刻Ｔ１８の状態で各演算回路５０には、Ｄ１１乃至Ｄ３３と各行の複数のフィルタとの積和演算によるデータが保持されていることになる。
　図１９（Ａ）は時刻Ｔｒｅａｄ１での動作を可視化した図である。
　行方向の矢印は、Ｔ１０乃至Ｔ１８で得られた積和演算によるデータのシフト方向を表している。図１９（Ａ）に示すように時刻Ｔｒｅａｄ１では、１乃至９行目に保持された積和演算によるデータを順に加算回路４１にシフトさせて、得られたデータの和を列毎に得る。加算回路４１で得られたデータは、積和演算回路４０の外部にある演算ユニット２３にて、ＲｅＬＵによる処理を行うことでＤ１１乃至Ｄ３３に畳み込み演算処理を行ったデータを得る。
　図１９（Ｂ）は時刻Ｔｗｒｉｔｅ２での演算回路５０に保持された入力データを可視化した図である。
　図１９（Ｂ）に図示するように、各列にＤ１２乃至Ｄ３４をセットする。
　図２０は時刻Ｔ１９での演算回路５０に保持された入力データを可視化した図である。
　時刻Ｔ１９では、コンテキスト信号の切り替えにより、コンテキスト「２」として、下記演算回路５０で乗算するためのフィルタを図２０に図示するようにセットする。例えば１行目の演算回路５０での動作に着目して説明すると、Ｄ１２が保持された１列目の演算回路５０は、フィルタＦ１０との演算を行う。得られたデータを２列目の演算回路５０に出力する。同時に、Ｄ１３が保持された２列目の演算回路５０は、フィルタＦ１１との演算を行う。得られたデータを３列目の演算回路５０に出力する。３列目乃至８列目の演算回路５０においても、それぞれフィルタＦ１２乃至Ｆ１７との演算を行い、得られたデータを演算回路５０に出力する。同時に、Ｄ３４が保持された９列目の演算回路５０は、フィルタＦ１８との演算を行う。得られたデータを１列目の演算回路５０に出力する。２行目以降も保持している入力データとフィルタとの演算を行い、演算回路５０に出力する。
　以降演算回路５０に保持する入力データ、コンテキストを切り替えて乗算データを加算していき、畳み込み演算処理に応じた演算を実行する。
　本実施の形態のニューラルネットワーク回路の構成では、各演算回路において乗算データおよび加算データを効率よく生成し、コンテキストの切り替えと組み合わせることで、異なるフィルタを用いた演算処理に基づく積和演算を効率よく行うことができる。そのため、ニューラルネットワーク回路において入力データおよび重みデータ等の増大に伴って、回路規模の大型化が問題となるが、この問題を解消することができる。つまり、同じ回路を用いて異なる処理の積和演算を行う構成とすることができるため、回路リソースの有効活用を図ることができる。
　ここで図１６乃至図２０で図示して説明した積和演算の演算モデルについて、図２１（Ａ）乃至（Ｆ）を用いて説明する。
　図２１（Ａ）乃至（Ｆ）の説明では、異なる４種類の重みデータを有するフィルタ（Ｗ１１，Ｗ１２，Ｗ１３，Ｗ１４）、（Ｗ２１，Ｗ２２，Ｗ２３，Ｗ２４）、（Ｗ３１，Ｗ３２，Ｗ３３，Ｗ３４）、（Ｗ４１，Ｗ４２，Ｗ４３，Ｗ４４）と、入力データ（Ｉ１，Ｉ２，Ｉ３，Ｉ４）の積和演算を行う場合について説明する。上記図１６乃至図２０で説明した演算処理の手法を用いることで、複数の演算回路で得られたデータをループさせながら積和演算を並行して進めることが可能である。
　複数のフィルタによる積和演算（畳み込み演算）は、式（１）に図示するように、行列−ベクトル積で表すことができる。
Figure JPOXMLDOC01-appb-I000001
　Ｗで構成される４×４の行列は、重みデータ（各行の要素が各フィルタの成分に相当）に相当する。Ｉで構成される１×４の行列は、入力データに相当する。Ｙ（Ｙ１乃至Ｙ４）で構成される１×４の行列は、積和演算によって得られるデータに相当する。
　式（１）の行列−ベクトル積は、上述した演算回路５０を用いて積和演算を行う演算モデルに当てはめると、図２１（Ａ）のように図示することができる。つまり入力データＩ１乃至Ｉ４は、各演算回路５０＿Ａの入力データ９３として保持される。またフィルタ（Ｗ１１，Ｗ１２，Ｗ１３，Ｗ１４）、（Ｗ２１，Ｗ２２，Ｗ２３，Ｗ２４）、（Ｗ３１，Ｗ３２，Ｗ３３，Ｗ３４）、（Ｗ４１，Ｗ４２，Ｗ４３，Ｗ４４）の重みデータは、各演算回路５０Ａのメモリに書き込まれ、コンテキストの切り替えに応じて、異なる重みデータ９４＿１乃至９４＿４として用いて乗算データの生成を行うことができる。以下、１クロック（１ｃｌｋ）ごとに演算処理が進むものとして説明する。
　演算回路５０＿Ａに入力データを書き込んで１ｃｌｋ後、重みデータのセットから任意の重みデータがコンテキストの切り替えによって設定される。具体的には、図２１（Ｂ）に図示する下線を付した重みデータ（Ｗ１１，Ｗ２２，Ｗ３３，Ｗ４４）が設定され、各演算回路５０＿Ａでは保持している入力データ（Ｉ１，Ｉ２，Ｉ３，Ｉ４）との乗算データを生成する。各演算回路５０＿Ａでは、入力データ９３と重みデータ９４＿１との乗算データ（Ｗ１１・Ｉ１，Ｗ２２・Ｉ２，Ｗ３３・Ｉ３，Ｗ４４・Ｉ４）を生成する。
　次いで図２１（Ｂ）の状態から１ｃｌｋ後の図２１（Ｃ）では、図２１（Ｂ）とは異なるコンテキストの重みデータによって設定される。具体的には、図２１（Ｃ）に図示する下線を付した重みデータ（Ｗ４１，Ｗ１２，Ｗ２３，Ｗ３４）が設定され、各演算回路５０＿Ａでは保持している入力データ（Ｉ１，Ｉ２，Ｉ３，Ｉ４）との乗算データを生成する。各演算回路５０＿Ａでは、入力データ９３と重みデータ９４＿２との乗算データ（Ｗ４１・Ｉ１，Ｗ１２・Ｉ２，Ｗ２３・Ｉ３，Ｗ３４・Ｉ４）を生成する。さらに、各演算回路９０＿Ａでは、図２１（Ｂ）の状態で生成した乗算データ（Ｗ１１・Ｉ１，Ｗ２２・Ｉ２，Ｗ３３・Ｉ３，Ｗ４４・Ｉ４）を次列の加算データとして次列の演算回路５０＿Ａに出力する。
　次いで図２１（Ｃ）の状態から１ｃｌｋ後の図２１（Ｄ）では、図２１（Ｃ）とは異なるコンテキストの重みデータによって設定される。具体的には、図２１（Ｄ）に図示する下線を付した重みデータ（Ｗ３１，Ｗ４２，Ｗ１３，Ｗ２４）が設定され、各演算回路５０＿Ａでは保持している入力データ（Ｉ１，Ｉ２，Ｉ３，Ｉ４）との乗算データを生成する。例えば、各演算回路５０＿Ａでは、入力データ９３と重みデータ９４＿３との乗算データ（Ｗ３１・Ｉ１，Ｗ４２・Ｉ２，Ｗ１３・Ｉ３，Ｗ２４・Ｉ４）を生成する。さらに、各演算回路９０＿Ａでは、乗算データ（Ｗ４１・Ｉ１，Ｗ１２・Ｉ２，Ｗ２３・Ｉ３，Ｗ３４・Ｉ４）を、図２１（Ｃ）で出力された加算データ（Ｗ１１・Ｉ１，Ｗ２２・Ｉ２，Ｗ３３・Ｉ３，Ｗ４４・Ｉ４）に加算した積和演算データ（Ｗ１２・Ｉ２＋Ｗ１１・Ｉ１，Ｗ２３・Ｉ３＋Ｗ２２・Ｉ２，Ｗ３４・Ｉ４＋Ｗ３３・Ｉ３，Ｗ４１・Ｉ１＋Ｗ４４・Ｉ４）を次列の加算データとして次列の演算回路５０＿Ａに出力する。
　次いで図２１（Ｄ）の状態から１ｃｌｋ後の図２１（Ｅ）では、図２１（Ｄ）とは異なるコンテキストの重みデータによって設定される。具体的には、図２１（Ｅ）に図示する下線を付した重みデータ（Ｗ２１，Ｗ３２，Ｗ４３，Ｗ１４）が設定され、各演算回路５０＿Ａでは保持している入力データ（Ｉ１，Ｉ２，Ｉ３，Ｉ４）との乗算データを生成する。例えば、各演算回路５０＿Ａでは、入力データ９３と重みデータ９４＿４との乗算データ（Ｗ２１・Ｉ１，Ｗ３２・Ｉ２，Ｗ４３・Ｉ３，Ｗ１４・Ｉ４）を生成する。さらに、各演算回路９０＿Ａでは、乗算データ（Ｗ３１・Ｉ１，Ｗ４２・Ｉ２，Ｗ１３・Ｉ３，Ｗ２４・Ｉ４）を、図２１（Ｄ）で出力された加算データ（Ｗ１２・Ｉ２＋Ｗ１１・Ｉ１，Ｗ２３・Ｉ３＋Ｗ２２・Ｉ２，Ｗ３４・Ｉ４＋Ｗ３３・Ｉ３，Ｗ４１・Ｉ１＋Ｗ４４・Ｉ４）に加算した積和演算データ（Ｗ１３・Ｉ３＋Ｗ１２・Ｉ２＋Ｗ１１・Ｉ１，Ｗ２４・Ｉ４＋Ｗ２３・Ｉ３＋Ｗ２２・Ｉ２，Ｗ３１・Ｉ１＋Ｗ３４・Ｉ４＋Ｗ３３・Ｉ３，Ｗ４２・Ｉ２＋Ｗ４１・Ｉ１＋Ｗ４４・Ｉ４）を次列の加算データとして次列の演算回路５０＿Ａに出力する。
　次いで図２１（Ｄ）の状態から１ｃｌｋ後の図２１（Ｅ）において各演算回路９０＿Ａでは、図２１（Ｅ）で出力された加算データ（Ｗ１３・Ｉ３＋Ｗ１２・Ｉ２＋Ｗ１１・Ｉ１，Ｗ２４・Ｉ４＋Ｗ２３・Ｉ３＋Ｗ２２・Ｉ２，Ｗ３１・Ｉ１＋Ｗ３４・Ｉ４＋Ｗ３３・Ｉ３，Ｗ４２・Ｉ２＋Ｗ４１・Ｉ１＋Ｗ４４・Ｉ４）に乗算データ（Ｗ３１・Ｉ１，Ｗ４２・Ｉ２，Ｗ１３・Ｉ３，Ｗ２４・Ｉ４）を加算した積和演算データが得られる。図２１（Ｆ）に示すように、各演算回路では、積和演算データ９５＿２（Ｗ２１・Ｉ１＋Ｗ２４・Ｉ４＋Ｗ２３・Ｉ３＋Ｗ２２・Ｉ２，Ｗ３１・Ｉ１）、積和演算データ９５＿３（Ｗ３２・Ｉ２＋Ｗ３１・Ｉ１＋Ｗ３４・Ｉ４＋Ｗ３３・Ｉ３）、積和演算データ９５＿４（Ｗ４３・Ｉ３＋Ｗ４２・Ｉ２＋Ｗ４１・Ｉ１＋Ｗ４４・Ｉ４）、積和演算データ９５＿１（Ｗ１４・Ｉ４＋Ｗ１３・Ｉ３＋Ｗ１２・Ｉ２＋Ｗ１１・Ｉ１）を得ることができる。得られた積和演算データは、行列−ベクトル積で表したＹ（Ｙ１乃至Ｙ４）に相当する。
　図２１（Ａ）乃至（Ｆ）の構成では、演算途中で外部メモリへのデータアクセスが必要なく、また、全ての演算回路でデータの受け渡しを並列に行いながら積和演算データを効率よく得ることができる。そのため、ニューラルネットワーク回路において入力データおよび重みデータ等の増大に伴って、回路規模の大型化が問題となるが、この問題を解消することができる。
　次いで図２２乃至図２６は、図１１（Ｂ）、（Ｃ）に示す各データを用いて図１０で示した積和演算回路４０による全結合演算処理７７を行う際の動作を説明するための図である。
　図２２（Ａ）は、図９（Ｂ）で説明した全結合演算処理７７を抜き出したものである。また図２２（Ｂ）では、全結合演算処理７７ではデータ９０の８１個のデータが、判定するラベルの数、ここではチャンネル数が１０のデータ９２となる畳み込み演算処理を説明するための図である。
　図２２（Ｂ）では、データ９２の一つのラベルに対して、８１個のデータのそれぞれに対して重みパラメータとの積和演算を行い、さらに得られた値を足し合わせる演算処理を行う様子を図示している。全結合演算処理では、フィルタを用いないが、前述した畳み込み演算処理の回路リソースを利用して全結合演算処理を行うため、畳み込み演算処理と類似の回路規模にて演算を行う。従って、８１個の入力データを９個ずつに分割し積和演算を行うことが有効である。また、９個の入力データ毎に積和演算を行うが、入力データの番号１乃至９（図２２（Ｂ）中、データ９０に付した番号）までの９個のデータと、出力データの番号１（図２２（Ｂ）中、データ９２に付した番号）との間で行われる積和演算に用いる重みパラメータ群をＦ９１と呼ぶ。また、入力データの番号１乃至９までの９個のデータと、出力データの番号２乃至１０（図２２（Ｂ）中、データ９２に付した番号）との間で行われる積和演算に用いる重みパラメータ群をそれぞれ、Ｆ９２乃至Ｆ１００と呼ぶ。同様にして、入力データの番号１０乃至１８（図２２（Ｂ）中、データ９０に付した番号）までの９個のデータと、出力データの番号１乃至１０（図２２（Ｂ）中、データ９２に付した番号）との間で行われる積和演算に用いる重みパラメータ群をそれぞれ、Ｆ１０１乃至Ｆ１１０、Ｆ１１１乃至Ｆ１２０、Ｆ１２１乃至Ｆ１３０、Ｆ１３１乃至Ｆ１４０、Ｆ１４１乃至Ｆ１５０、Ｆ１５１乃至Ｆ１６０、Ｆ１６１乃至Ｆ１７０、Ｆ１７１乃至Ｆ１８０とする。
　図２２（Ａ）、（Ｂ）に示す全結合演算処理７７は、図１０で示した積和演算回路４０における９×１０の演算回路５０を用いて行う。図２３（Ａ）では、９×１０の演算回路５０を縦横に配置するとともに、行（ｒｏｗ）方向および列（ｃｏｌｕｍｎ）方向を図示している。列方向は、入力データと重みデータとによって得られる積和演算データのシフト（ＭＡＣ　ｄａｔａ　ｓｈｉｆｔ）方向となる。また図２３（Ａ）では、加算回路４１を図示している。
　図２３（Ａ）において、各演算回路５０には、データ９０の８１個のデータを別々にセットする。つまり図２３（Ａ）において、９行目の各列の演算回路５０にはデータ「１」乃至「９」、８行目の各列の演算回路５０には「１０」乃至「１８」といったようにデータをセットする。各行の１０列目の演算回路５０にはデータをセットしない（「０」をセットするでもよい）。つまり、乗算データがゼロで、入力される加算データへの加算分もゼロである。
　また図２３（Ａ）において、行方向の１行目の演算回路５０には、それぞれＦ１７１乃至Ｆ１８０の重みデータ群を列毎にセットする。同様に図２３（Ａ）において、行方向の２行目の演算回路５０には、それぞれＦ１６１乃至Ｆ１７０の重みデータ群を列毎にセットする。３行目以降の演算回路５０においても、それぞれＦ１６１乃至Ｆ１７０の重みデータ群を列毎にセットする。１０列目の演算回路５０は、ブランクデータとしてデータ、フィルタともにデータを与えない。
　なおＦ９１乃至Ｆ１８０は、図２２（Ｂ）に図示するように、全結合演算処理を行う際に１つのチャンネルにつき９つの重みデータ群（例えば、＜Ｆ９１、Ｆ１０１、（略）、Ｆ１７１＞、＜Ｆ９２、Ｆ１０２、（略）、Ｆ１７２＜、＜Ｆ１００、Ｆ１１０、（略）、Ｆ１８０＞）が必要になる。図２３（Ａ）の構成では、複数の重みデータ群を用いて積和演算を行い、あとで得られたデータを加算することで全結合演算処理を行う構成とする。少ない演算回路数で、超並列の全結合演算処理を効率よく行うことができる。
　例えばコンテキスト「１１」で１行１列目の演算回路５０にＦ１７１の重みデータ、１行２列目の演算回路５０にＦ１７２の重みデータ、１行３列目の演算回路５０にＦ１７３の重みデータのように重みデータ群をセットする。１行９列目の演算回路５０にはＦ１７９の重みデータのように重みデータ群をセットし、１行１０列目にはデータおよび重みデータ群をセットしないが、Ｆ１８０を対応させておく。コンテキスト「１２」以降は演算回路５０に対応する重みデータ群を列方向にシフトさせる。１０列目の演算回路５０に対応していた重みデータ群は、１列目に戻る。例えばコンテキスト「１２」で１行１列目の演算回路５０にＦ１８０の重みデータ、１行２列目の演算回路５０にＦ１７１の重みデータ、１行３列目の演算回路５０にＦ１７２の重みデータのように重みデータ群をセットする。１行９列目の演算回路５０にはＦ１７８の重みデータのように重みデータ群をセットし、１行１０列目にはデータおよび重みデータ群をセットしないが、Ｆ１７９を対応させておく。
　セットした重みデータは、コンテキストの切り替えで別の重みデータ群の重みデータに切り替えることができる。コンテキストの切り替えは、演算回路１０列分を重みデータ群のシフトが一巡りするまで行う。つまりコンテキストをコンテキスト「１１」から「２０」に順に切り替える。
　演算結果のデータをシフトすることによって得られた積和演算データは、加算回路４１に読み出される。加算回路４１では、同じ列での積和演算データを足しあわせる。そして得られるデータが全結合演算処理後のデータに相当する。
　上述した図２３（Ａ）の動作をまとめると、図２３（Ｂ）のように表すことができる。
　全結合演算処理７７を行う際、８１個のデータ「１」乃至「８１」と異なる重みデータ群との積和演算を実行するため、コンテキスト信号ｃｏｎｔｅｘｔはコンテキストをコンテキスト「１１」から「２０」に順に切り替える。時刻Ｔｗｒｉｔｅ３でデータ「１」乃至「８１」を演算回路５０にセットした後、時刻Ｔ２０乃至Ｔ２９でコンテキストをコンテキスト「１１」から「２０」に順に切り替える。８１個のデータ「１」乃至「８１」と９つの重みデータ群との積和演算がそれぞれの演算回路５０で得られた後、時刻Ｔｒｅａｄ２で加算回路４１に読み出し、積和演算処理を行ったデータ（ＣＨ１０　１×１）を得る。
　より具体的な例について図２４乃至図２６で説明する。
　図２４（Ａ）は時刻Ｔｗｒｉｔｅ３での演算回路５０に保持された入力データを可視化した図である。図２４（Ａ）に図示するように、各行各列の演算回路５０に８１個のデータ「１」乃至「８１」をセットする。各行１０列目の演算回路５０には、空のデータとして「０」を図示している。なお演算回路５０内のメモリ５２には、重みデータのセットが書き込まれている。重みデータのセットは、コンテキストの切り替えに対応して切り替えられる。
　図２４（Ｂ）は時刻Ｔ２０での演算回路５０に保持されたデータを可視化した図である。時刻Ｔ２０では、コンテキスト信号の切り替えにより、コンテキスト「１１」として、下記演算回路５０で乗算するための重みデータ群を図２４（Ｂ）に図示するようにセットする。列方向の矢印は、乗算データ、あるいは乗算データに前列の加算データを加算した加算データのシフト方向を表している。同じ行にある演算回路５０間に付した「Ｆ１７１」等は、Ｆ１７１との積和演算するための重みデータ群である。演算で得られるデータは、前列の加算データを加算して、データのシフト方向にある演算回路５０に加算データとして出力される。
　例えば１行目の演算回路５０での動作に着目して説明すると、データ「７３」が保持された１列目の演算回路５０は、Ｆ１７１との演算を行う。得られたデータを１０列目の演算回路５０から出力されたデータ（この場合０）に加算して２列目の演算回路５０に出力する。同時に、データ「７４」が保持された２列目の演算回路５０は、Ｆ１７２との演算を行う。得られたデータを１列目の演算回路５０から出力されたデータに加算して３列目の演算回路５０に出力する。３列目乃至８列目の演算回路５０においても、それぞれデータとＦ１７３乃至Ｆ１７８との演算を行い、得られたデータを演算回路５０に出力する。同時に、データ「８１」が保持された９列目の演算回路５０は、Ｆ１７９との演算を行う。得られたデータを８列目の演算回路５０から出力されたデータに加算して１０列目の演算回路５０に出力する。同時に、データが保持されていない１０列目の演算回路５０は、空のデータであるため乗算データが得られない。つまり１０列目の演算回路５０から出力される加算データは、９列目の演算回路５０から出力された加算データのままとなる。
　図２５（Ａ）は時刻Ｔ２１での演算回路５０に保持された入力データを可視化した図である。時刻Ｔ２１では、コンテキスト信号の切り替えにより、コンテキスト「１２」として、下記演算回路５０で乗算するための重みデータ群を図２５（Ａ）に図示するようにセットする。
　例えば１行目の演算回路５０での動作に着目して説明すると、データ「７３」が保持された１列目の演算回路５０は、Ｆ１８０との演算を行う。得られたデータを１０列目の演算回路５０から出力されたデータ（この場合０）に加算して２列目の演算回路５０に出力する。同時に、データ「７４」が保持された２列目の演算回路５０は、Ｆ１７１との演算を行う。得られたデータを１列目の演算回路５０から出力されたデータ（この場合、時刻Ｔ２１で行ったデータ「７３」とＦ１７１の乗算データ）に加算して３列目の演算回路５０に出力する。３列目乃至８列目の演算回路５０においても、それぞれデータとＦ１７２乃至Ｆ１７７との演算を行い、得られたデータを演算回路５０に出力する。同時に、データ「８１」が保持された９列目の演算回路５０は、Ｆ１７８との演算を行う。得られたデータを８列目の演算回路５０から出力されたデータ（この場合、時刻Ｔ２１で行ったデータ「８０」とＦ１７８の乗算データ）に加算して１０列目の演算回路５０に出力する。同時に、データが保持されていない１０列目の演算回路５０は、空のデータであるため乗算データが得られない。つまり１０列目の演算回路５０から出力されるデータは、９列目の演算回路５０から出力されたデータ（この場合、時刻Ｔ２１で行ったデータ「８１」とＦ１７９の乗算データ）のままとなる。
　時刻Ｔ２２乃至時刻Ｔ２８においても、コンテキスト信号の切り替えにより、コンテキスト「１３」乃至「１９」として、下記演算回路５０で乗算するための重みデータをセットし、保持しているデータと重みデータ群との演算を行い、演算回路５０に出力することを行う。
　図２５（Ｂ）は時刻Ｔ２９での演算回路５０に保持された入力データを可視化した図である。時刻Ｔ２９では、コンテキスト信号の切り替えにより、コンテキスト「２０」として、下記演算回路５０で乗算するための重みデータ群を図２５（Ｂ）に図示するようにセットする。
　例えば１行目の演算回路５０での動作に着目して説明すると、データ「７３」が保持された１列目の演算回路５０は、Ｆ１７２との演算を行う。得られたデータを１０列目の演算回路５０から出力されたデータ（この場合データ「７４」乃至「８１」とＦ１７１、Ｆ１７３乃至Ｆ１８０との組み合わせの積和演算）に加算して２列目の演算回路５０に出力する。同時に、データ「７４」が保持された２列目の演算回路５０は、Ｆ１７３との演算を行う。得られたデータを１列目の演算回路５０から出力されたデータ（この場合、データ「７３」、データ「７５」乃至「８１」とＦ１７１、Ｆ１７２、Ｆ１７４乃至Ｆ１８０との組み合わせの積和演算）に加算して３列目の演算回路５０に出力する。３列目乃至８列目の演算回路５０においても、それぞれデータと、Ｆ１７４乃至Ｆ１７８との演算を行い、得られたデータを演算回路５０に出力する。同時に、データ「８１」が保持された９列目の演算回路５０は、Ｆ１８０との演算を行う。得られたデータを８列目の演算回路５０から出力されたデータ（この場合、データ「７３」乃至「８０」とＦ１７１乃至Ｆ１７９との組み合わせの積和演算）に加算して１０列目の演算回路５０に出力する。同時に、データが保持されていない１０列目の演算回路５０は、空のデータであるため乗算データが得られない。つまり１０列目の演算回路５０から出力されるデータは、９列目の演算回路５０から出力されたデータ（この場合、データ「７３」乃至「８１」とＦ１７１乃至Ｆ１７９との組み合わせの積和演算）のままとなる。
　２行目乃至９列目の演算回路５０においても、それぞれＦ９１乃至Ｆ１７０との演算を行い、得られたデータを演算回路５０に出力する。つまり時刻Ｔ２９の状態で各演算回路５０には、各行に保持したデータと、各行に保持してコンテキスト信号を切り替えることで得られた重みデータ群との積和演算の結果が保持されていることになる。
　図２６は時刻Ｔｒｅａｄ２での動作を可視化した図である。行方向の矢印は、Ｔ２０乃至Ｔ２９で得られた積和演算によるデータのシフト方向を表している。図２６に示すように時刻Ｔｒｅａｄ２では、１乃至９行目に保持された積和演算によるデータを順に加算回路４１にシフトさせて、得られたデータの和を列毎に得る。得られたデータは積和演算回路４０の外部にある演算ユニット２３にて、ＲｅＬＵによる処理を行うことで全結合したデータを得る。
　本実施の形態のニューラルネットワーク回路の構成では、入力されるデータの構成、およびフィルタおよび重みデータ群の構成等に応じて動作を切り替えることで、各演算回路において乗算データおよび加算データを効率よく生成し、積和演算を効率よく行うことができる。そのため、ニューラルネットワーク回路において入力データおよび重みデータ等の増大に伴って、回路規模の大型化が問題となるが、この問題を解消することができる。つまり、同じ回路を用いて異なる処理の積和演算を行う構成とすることができるため、回路リソースの有効活用を図ることができる。
（実施の形態２）
　本実施の形態は、上記実施の形態に示すニューラルネットワーク回路が組み込まれたＩＣ（ニューラルネットワークシステムＩＣ）の一例を示す。
　上記実施の形態に示すニューラルネットワーク回路は、Ｓｉトランジスタでなる乗算回路および加算回路を有する演算回路５０と、ＯＳトランジスタを用いたメモリ回路と、１のダイに集積することができる。
　図２７に、ニューラルネットワーク回路を組み込んだＩＣの一例を示す。図２７に示すニューラルネットワークシステムＩＣ７０００は、リード７００１及び回路部７００３を有する。回路部７００３には、上記実施の形態で示した各種の回路が１のダイに設けられている。回路部７００３は積層構造をもち、Ｓｉトランジスタ層７０３１、配線層７０３２、ＯＳトランジスタ層７０３３に大別される。ＯＳトランジスタ層７０３３をＳｉトランジスタ層７０３１に積層して設けることができるため、ニューラルネットワークシステムＩＣ７０００の小型化が容易である。
　図２７では、ニューラルネットワークシステムＩＣ７０００のパッケージにＱＦＰ（Ｑｕａｄ　Ｆｌａｔ　Ｐａｃｋａｇｅ）を適用しているが、パッケージの態様はこれに限定されない。
　Ｓｉトランジスタでなる演算回路５０と、ＯＳトランジスタを有するメモリ回路は、全て、Ｓｉトランジスタ層７０３１、配線層７０３２およびＯＳトランジスタ層７０３３に形成することができる。すなわち、上記ニューラルネットワーク回路を構成する素子は、同一の製造プロセスで形成することが可能である。そのため、本実施の形態に示すＩＣは、構成する素子が増えても製造プロセスを増やす必要がなく、上記ニューラルネットワーク回路を低コストで組み込むことができる。
（実施の形態３）
　本実施の形態では、上記実施の形態に示すニューラルネットワーク回路のメモリ回路に搭載可能なＯＳメモリについて説明する。本実施の形態では、ＯＳメモリの一例として、ＤＯＳＲＡＭおよびＮＯＳＲＡＭについて説明する。
＜＜ＤＯＳＲＡＭ１４００＞＞
　図２８（Ａ）−図２８（Ｃ）を参照して、ＤＯＳＲＡＭについて説明する。
　図２８（Ａ）に示すＤＯＳＲＡＭ１４００は、コントローラ１４０５、行回路１４１０、列回路１４１５、ＭＣ−ＳＡアレイ１４２０を有する。行回路１４１０はデコーダ１４１１、ワード線ドライバ１４１２、列セレクタ１４１３、センスアンプドライバ１４１４を有する。列回路１４１５はグローバルセンスアンプアレイ１４１６、入出力回路１４１７を有する。グローバルセンスアンプアレイ１４１６は複数のグローバルセンスアンプ１４４７を有する。ＭＣ−ＳＡアレイ１４２０はメモリセルアレイ１４２２、センスアンプアレイ１４２３、グローバルビット線ＧＢＬＬ、ＧＢＬＲを有する。
＜ＭＣ−ＳＡアレイ１４２０＞
　ＭＣ−ＳＡアレイ１４２０は、メモリセルアレイ１４２２をセンスアンプアレイ１４２３上に積層した積層構造をもつ。グローバルビット線ＧＢＬＬ、ＧＢＬＲはメモリセルアレイ１４２２上に積層されている。ＤＯＳＲＡＭ１４００では、ビット線の構造に、ローカルビット線とグローバルビット線とで階層化された階層ビット線構造が採用されている。
　メモリセルアレイ１４２２は、Ｎ個（Ｎは２以上の整数）のローカルメモリセルアレイ１４２５＜０＞−４２５＜Ｎ−１＞を有する。図２８（Ｂ）に示すように、ローカルメモリセルアレイ１４２５は、複数のメモリセル１４４５、複数のワード線ＷＬ、複数のビット線ＢＬＬ、ＢＬＲを有する。図２８（Ｂ）の例では、ローカルメモリセルアレイ１４２５の構造はオープンビット線型であるが、フォールデッドビット線型であってもよい。
　図２８（Ａ）に示すメモリセル１４４５は、ＯＳトランジスタＭＯ４５、容量素子Ｃ４５を有する。ＯＳトランジスタＭＯ４５は容量素子Ｃ４５の充放電を制御する機能をもつ。ＯＳトランジスタＭＯ４５のゲートはワード線に電気的に接続され、バックゲートは配線ＢＧＬに電気的に接続され、第１端子はビット線ＢＬＬまたはＢＬＲに電気的に接続され、第２端子は容量素子Ｃ４５の第１端子に電気的に接続されている。容量素子Ｃ４５の第２端子は配線ＰＣＬに電気的に接続されている。配線ＣＳＬ、ＢＧＬは電圧を供給するための電源線である。
　配線ＢＧＬの電圧によって、ＯＳトランジスタＭＯ４５の閾値電圧を変更することができる。例えば、端子Ｂ２の電圧は固定電圧（例えば、負の定電圧）であってもよいし、ＤＯＳＲＡＭ１４００の動作に応じて、端子Ｂ２の電圧を変化させてもよい。
　ＯＳトランジスタＭＯ４５のバックゲートをＯＳトランジスタＭＯ４５のゲート、ソース、またはドレインに電気的に接続してもよい。あるいは、ＯＳトランジスタＭＯ４５にバックゲートを設けなくてもよい。
　センスアンプアレイ１４２３は、Ｎ個のローカルセンスアンプアレイ１４２６＜０＞−４２６＜Ｎ−１＞を有する。ローカルセンスアンプアレイ１４２６は、１のスイッチアレイ１４４４、複数のセンスアンプ１４４６を有する。センスアンプ１４４６には、ビット線対が電気的に接続されている。センスアンプ１４４６は、ビット線対をプリチャージする機能、ビット線対の電圧差を増幅する機能、この電圧差を保持する機能を有する。スイッチアレイ１４４４は、ビット線対を選択し、選択したビット線対とグローバルビット線対と間を導通状態にする機能を有する。
　ここで、ビット線対とは、センスアンプによって、同時に比較される２本のビット線のことをいう。グローバルビット線対とは、グローバルセンスアンプによって、同時に比較される２本のグローバルビット線のことをいう。ビット線対を一対のビット線と呼ぶことができ、グローバルビット線対を一対のグローバルビット線と呼ぶことができる。ここでは、ビット線ＢＬＬとビット線ＢＬＲが１組のビット線対を成す。グローバルビット線ＧＢＬＬとグローバルビット線ＧＢＬＲとが１組のグローバルビット線対をなす。以下、ビット線対（ＢＬＬ，ＢＬＲ）、グローバルビット線対（ＧＢＬＬ，ＧＢＬＲ）とも表す。
＜コントローラ１４０５＞
　コントローラ１４０５は、ＤＯＳＲＡＭ１４００の動作全般を制御する機能を有する。コントローラ１４０５は、外部からの入力されるコマンド信号を論理演算して、動作モードを決定する機能、決定した動作モードが実行されるように、行回路１４１０および列回路１４１５の制御信号を生成する機能、外部から入力されるアドレス信号を保持する機能、内部アドレス信号を生成する機能を有する。
＜行回路１４１０＞
　行回路１４１０は、ＭＣ−ＳＡアレイ１４２０を駆動する機能を有する。デコーダ１４１１はアドレス信号をデコードする機能を有する。ワード線ドライバ１４１２は、アクセス対象行のワード線ＷＬを選択する選択信号を生成する。
　列セレクタ１４１３、センスアンプドライバ１４１４はセンスアンプアレイ１４２３を駆動するための回路である。列セレクタ１４１３は、アクセス対象列のビット線を選択するための選択信号を生成する機能をもつ。列セレクタ１４１３の選択信号によって、各ローカルセンスアンプアレイ１４２６のスイッチアレイ１４４４が制御される。センスアンプドライバ１４１４の制御信号によって、複数のローカルセンスアンプアレイ１４２６は独立して駆動される。
＜列回路１４１５＞
　列回路１４１５は、データ信号ＷＤＡ［３１：０］の入力を制御する機能、データ信号ＲＤＡ［３１：０］の出力を制御する機能を有する。データ信号ＷＤＡ［３１：０］は書き込みデータ信号であり、データ信号ＲＤＡ［３１：０］は読み出しデータ信号である。
　グローバルセンスアンプ１４４７はグローバルビット線対（ＧＢＬＬ，ＧＢＬＲ）に電気的に接続されている。グローバルセンスアンプ１４４７はグローバルビット線対（ＧＢＬＬ，ＧＢＬＲ）間の電圧差を増幅する機能、この電圧差を保持する機能を有する。グローバルビット線対（ＧＢＬＬ，ＧＢＬＲ）へのデータの書き込み、および読み出しは、入出力回路１４１７によって行われる。
　ＤＯＳＲＡＭ１４００の書き込み動作の概要を説明する。入出力回路１４１７によって、データがグローバルビット線対に書き込まれる。グローバルビット線対のデータは、グローバルセンスアンプアレイ１４１６によって保持される。アドレスが指定するローカルセンスアンプアレイ１４２６のスイッチアレイ１４４４によって、グローバルビット線対のデータが、対象列のビット線対に書き込まれる。ローカルセンスアンプアレイ１４２６は、書き込まれたデータを増幅し、保持する。指定されたローカルメモリセルアレイ１４２５において、行回路１４１０によって、対象行のワード線ＷＬが選択され、選択行のメモリセル１４４５にローカルセンスアンプアレイ１４２６の保持データが書き込まれる。
　ＤＯＳＲＡＭ１４００の読み出し動作の概要を説明する。アドレス信号によって、ローカルメモリセルアレイ１４２５の１行が指定される。指定されたローカルメモリセルアレイ１４２５において、対象行のワード線ＷＬが選択状態となり、メモリセル１４４５のデータがビット線に書き込まれる。ローカルセンスアンプアレイ１４２６によって、各列のビット線対の電圧差がデータとして検出され、かつ保持される。スイッチアレイ１４４４によって、ローカルセンスアンプアレイ１４２６の保持データの内、アドレスが指定する列のデータが、グローバルビット線対に書き込まれる。グローバルセンスアンプアレイ１４１６は、グローバルビット線対のデータを検出し、保持する。グローバルセンスアンプアレイ１４１６の保持データは入出力回路１４１７に出力される。以上で、読み出し動作が完了する。
　容量素子Ｃ４５の充放電によってデータを書き換えるため、ＤＯＳＲＡＭ１４００は原理的には書き換え回数に制約はなく、かつ、低エネルギーで、データの書き込みおよび読み出しが可能である。また、メモリセル１４４５の回路構成が単純であるため、大容量化が容易である。よって、ＤＯＳＲＡＭ１４００は大容量のデータを高頻度で書き換えるメモリ装置、例えば、画像処理に利用されるフレームメモリに好適である。
　ＯＳトランジスタＭＯ４５はＯＳトランジスタである。ＯＳトランジスタはオフ電流が極めて小さいため、容量素子Ｃ４５から電荷がリークすることを抑えることができるので、ＤＯＳＲＡＭ１４００は保持時間がＤＲＡＭに比べて非常に長いため、リフレッシュレート頻度を低減できる。従って、ＤＯＳＲＡＭ１４００はフレッシュ動作に要する電力を削減できる。
　ＭＣ−ＳＡアレイ１４２０が積層構造であることよって、ローカルセンスアンプアレイ１４２６の長さと同程度の長さにビット線を短くすることができる。ビット線を短くすることで、ビット線容量が小さくなり、メモリセル１４４５の保持容量を低減することができる。また、ローカルセンスアンプアレイ１４２６にスイッチアレイ１４４４を設けることで、長いビット線の本数を減らすことができる。以上の理由から、ＤＯＳＲＡＭ１４００のアクセス時に駆動する負荷が低減される。
　以上のことから、ＤＯＳＲＡＭ１４００を上記実施の形態に示すメモリ５２に用いることで、ニューラルネットワークシステムの消費電力を低減することができる。
＜＜ＮＯＳＲＡＭ＞＞
　図２９および図３０を参照してＮＯＳＲＡＭについて説明する。ここでは、１のメモリセルで多値データを記憶する多値ＮＯＳＲＡＭについて説明する。
　図２９に示すＮＯＳＲＡＭ１６００は、メモリセルアレイ１６１０、コントローラ１６４０、行ドライバ１６５０、列ドライバ１６６０、出力ドライバ１６７０を有する。
　メモリセルアレイ１６１０は複数のメモリセル１６１１、複数のワード線ＷＷＬ、ＲＷＬ、ビット線ＢＬ、ソース線ＳＬを有する。ワード線ＷＷＬは書き込みワード線であり、ワード線ＲＷＬは読み出しワード線である。ＮＯＳＲＡＭ１６００では、１のメモリセル１６１１で３ビット（８値）のデータを記憶する。
　コントローラ１６４０は、ＮＯＳＲＡＭ１６００全体を統括的に制御し、データＷＤＡ［３１：０］の書き込み、データＲＤＡ［３１：０］の読み出しを行う。コントローラ１６４０は、外部からのコマンド信号（例えば、チップイネーブル信号、書き込みイネーブル信号など）を処理して、行ドライバ１６５０、列ドライバ１６６０および出力ドライバ１６７０の制御信号を生成する。
　行ドライバ１６５０は、アクセスする行を選択する機能を有する。行ドライバ１６５０は、行デコーダ１６５１、およびワード線ドライバ１６５２を有する。
　列ドライバ１６６０は、ソース線ＳＬおよびビット線ＢＬを駆動する。列ドライバ１６６０は、列デコーダ１６６１、書き込みドライバ１６６２、ＤＡＣ（デジタル−アナログ変換回路）１６６３を有する。
　ＤＡＣ１６６３は３ビットのデジタルデータをアナログ電圧に変換する。ＤＡＣ１６６３は３２ビットのデータＷＤＡ［３１：０］を３ビットごとに、アナログ電圧に変換する。
　書き込みドライバ１６６２は、ソース線ＳＬをプリチャージする機能、ソース線ＳＬを電気的に浮遊状態にする機能、ソース線ＳＬを選択する機能、選択されたソース線ＳＬにＤＡＣ１６６３で生成した書き込み電圧を入力する機能、ビット線ＢＬをプリチャージする機能、ビット線ＢＬを電気的に浮遊状態にする機能等を有する。
　出力ドライバ１６７０は、セレクタ１６７１、ＡＤＣ（アナログ−デジタル変換回路）１６７２、出力バッファ１６７３を有する。セレクタ１６７１は、アクセスするソース線ＳＬを選択し、選択されたソース線ＳＬの電圧をＡＤＣ１６７２に送信する。ＡＤＣ１６７２は、アナログ電圧を３ビットのデジタルデータに変換する機能を持つ。ソース線ＳＬの電圧はＡＤＣ１６７２において、３ビットのデータに変換され、出力バッファ１６７３はＡＤＣ１６７２から出力されるデータを保持する。
＜メモリセル＞
　図３０（Ａ）はメモリセル１６１１の構成例を示す回路図である。メモリセル１６１１は２Ｔ型のゲインセルであり、メモリセル１６１はワード線ＷＷＬ、ＲＷＬ、ビット線ＢＬ、ソース線ＳＬ、配線ＢＧＬに電気的に接続されている。メモリセル１６１１は、ノードＳＮ、ＯＳトランジスタＭＯ６１、トランジスタＭＰ６１、容量素子Ｃ６１を有する。ＯＳトランジスタＭＯ６１は書き込みトランジスタである。トランジスタＭＰ６１は読み出しトランジスタであり、例えばｐチャネル型Ｓｉトランジスタで構成される。容量素子Ｃ６１はノードＳＮの電圧を保持するための保持容量である。ノードＳＮはデータの保持ノードであり、ここではトランジスタＭＰ６１のゲートに相当する。
　メモリセル１６１１の書き込みトランジスタがＯＳトランジスタＭＯ６１で構成されているため、ＮＯＳＲＡＭ１６００は長時間データを保持することが可能である。
　図３０（Ａ）の例では、ビット線は、書き込みと読み出しで共通のビット線であるが、図３０（Ｂ）に示すように、書き込みビット線ＷＢＬと、読み出しビット線ＲＢＬとを設けてもよい。
　図３０（Ｃ）−図３０（Ｅ）にメモリセルの他の構成例を示す。図３０（Ｃ）−図３０（Ｅ）には、書き込み用ビット線と読み出し用ビット線を設けた例を示しているが、図３０（Ａ）のように書き込みと読み出しで共有されるビット線を設けてもよい。
　図３０（Ｃ）に示すメモリセル１６１２は、メモリセル１６１１の変形例であり、読み出しトランジスタをｎチャネル型トランジスタ（ＭＮ６１）に変更したものである。トランジスタＭＮ６１はＯＳトランジスタであってもよいし、Ｓｉトランジスタであってもよい。
　メモリセル１６１１、１６１２において、ＯＳトランジスタＭＯ６１はバックゲートの無いＯＳトランジスタであってもよい。
　図３０（Ｄ）に示すメモリセル１６１３は、３Ｔ型ゲインセルであり、ワード線ＷＷＬ、ＲＷＬ、ビット線ＷＢＬ、ＲＢＬ、ソース線ＳＬ、配線ＢＧＬ、ＰＣＬに電気的に接続されている。メモリセル１６１３は、ノードＳＮ、ＯＳトランジスタＭＯ６２、トランジスタＭＰ６２、トランジスタＭＰ６３、容量素子Ｃ６２を有する。ＯＳトランジスタＭＯ６２は書き込みトランジスタである。トランジスタＭＰ６２は読み出しトランジスタであり、トランジスタＭＰ６３は選択トランジスタである。
　図３０（Ｅ）に示すメモリセル１６１４は、メモリセル１６１３の変形例であり、読み出しトランジスタおよび選択トランジスタをｎチャネル型トランジスタ（ＭＮ６２、ＭＮ６３）に変更したものである。トランジスタＭＮ６２、ＭＮ６３はＯＳトランジスタであってもよいし、Ｓｉトランジスタであってもよい。
　メモリセル１６１１−１６１４に設けられるＯＳトランジスタは、バックゲートの無いトランジスタでもよいし、バックゲートが有るトランジスタであってもよい。
　容量素子Ｃ６１の充放電によってデータを書き換えるため、ＮＯＳＲＡＭ１６００は原理的には書き換え回数に制約はなく、かつ、低エネルギーで、データの書き込みおよび読み出しが可能である。また、長時間データを保持することが可能であるので、リフレッシュ頻度を低減できる。よって、ＤＯＳＲＡＭ１４００は大容量のデータを高頻度で書き換えるメモリ装置、例えば、画像処理に利用されるフレームメモリに好適である。
　ＮＯＳＲＡＭ１６００を上記実施の形態に示すメモリ５２に用いることで、ニューラルネットワーク回路の消費電力を低減することができる。
（本明細書等の記載に関する付記）
　以上の実施の形態、及び実施の形態における各構成の説明について、以下に付記する。
　各実施の形態に示す構成は、他の実施の形態に示す構成と適宜組み合わせて、本発明の一態様とすることができる。また、１つの実施の形態の中に、複数の構成例が示される場合は、互いに構成例を適宜組み合わせることが可能である。
　なお、ある一つの実施の形態の中で述べる内容（一部の内容でもよい）は、その実施の形態で述べる別の内容（一部の内容でもよい）、及び／又は、一つ若しくは複数の別の実施の形態で述べる内容（一部の内容でもよい）に対して、適用、組み合わせ、又は置き換えなどを行うことが出来る。
　なお、実施の形態の中で述べる内容とは、各々の実施の形態において、様々な図を用いて述べる内容、又は明細書に記載される文章を用いて述べる内容のことである。
　なお、ある一つの実施の形態において述べる図（一部でもよい）は、その図の別の部分、その実施の形態において述べる別の図（一部でもよい）、及び／又は、一つ若しくは複数の別の実施の形態において述べる図（一部でもよい）に対して、組み合わせることにより、さらに多くの図を構成させることが出来る。
　また本明細書等において、ブロック図では、構成要素を機能毎に分類し、互いに独立したブロックとして示している。しかしながら実際の回路等においては、構成要素を機能毎に切り分けることが難しく、一つの回路に複数の機能が係わる場合や、複数の回路にわたって一つの機能が関わる場合があり得る。そのため、ブロック図のブロックは、明細書で説明した構成要素に限定されず、状況に応じて適切に言い換えることができる。
　また、図面において、大きさ、層の厚さ、又は領域は、説明の便宜上任意の大きさに示したものである。よって、必ずしもそのスケールに限定されない。なお図面は明確性を期すために模式的に示したものであり、図面に示す形状又は値などに限定されない。例えば、ノイズによる信号、電圧、若しくは電流のばらつき、又は、タイミングのずれによる信号、電圧、若しくは電流のばらつきなどを含むことが可能である。
　本明細書等において、トランジスタの接続関係を説明する際、ソースとドレインとの一方を、「ソース又はドレインの一方」（又は第１電極、又は第１端子）と表記し、ソースとドレインとの他方を「ソース又はドレインの他方」（又は第２電極、又は第２端子）と表記している。これは、トランジスタのソースとドレインは、トランジスタの構造又は動作条件等によって変わるためである。なおトランジスタのソースとドレインの呼称については、ソース（ドレイン）端子や、ソース（ドレイン）電極等、状況に応じて適切に言い換えることができる。
　また、本明細書等において「電極」や「配線」の用語は、これらの構成要素を機能的に限定するものではない。例えば、「電極」は「配線」の一部として用いられることがあり、その逆もまた同様である。さらに、「電極」や「配線」の用語は、複数の「電極」や「配線」が一体となって形成されている場合なども含む。
　また、本明細書等において、電圧と電位は、適宜言い換えることができる。電圧は、基準となる電位からの電位差のことであり、例えば基準となる電位をグラウンド電圧（接地電圧）とすると、電圧を電位に言い換えることができる。グラウンド電位は必ずしも０Ｖを意味するとは限らない。なお電位は相対的なものであり、基準となる電位によっては、配線等に与える電位を変化させる場合がある。
　なお本明細書等において、「膜」、「層」などの語句は、場合によっては、または、状況に応じて、互いに入れ替えることが可能である。例えば、「導電層」という用語を、「導電膜」という用語に変更することが可能な場合がある。または、例えば、「絶縁膜」という用語を、「絶縁層」という用語に変更することが可能な場合がある。
　本明細書等において、スイッチとは、導通状態（オン状態）、または、非導通状態（オフ状態）になり、電流を流すか流さないかを制御する機能を有するものをいう。または、スイッチとは、電流を流す経路を選択して切り替える機能を有するものをいう。
　一例としては、電気的スイッチ又は機械的なスイッチなどを用いることができる。つまり、スイッチは、電流を制御できるものであればよく、特定のものに限定されない。
　電気的なスイッチの一例としては、トランジスタ（例えば、バイポーラトランジスタ、ＭＯＳトランジスタなど）、ダイオード（例えば、ＰＮダイオード、ＰＩＮダイオード、ショットキーダイオード、ＭＩＭ（Ｍｅｔａｌ　Ｉｎｓｕｌａｔｏｒ　Ｍｅｔａｌ）ダイオード、ＭＩＳ（Ｍｅｔａｌ　Ｉｎｓｕｌａｔｏｒ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）ダイオード、ダイオード接続のトランジスタなど）、又はこれらを組み合わせた論理回路などがある。
　なお、スイッチとしてトランジスタを用いる場合、トランジスタの「導通状態」とは、トランジスタのソースとドレインが電気的に短絡されているとみなせる状態をいう。また、トランジスタの「非導通状態」とは、トランジスタのソースとドレインが電気的に遮断されているとみなせる状態をいう。なおトランジスタを単なるスイッチとして動作させる場合には、トランジスタの極性（導電型）は特に限定されない。
　機械的なスイッチの一例としては、デジタルマイクロミラーデバイス（ＤＭＤ）のように、ＭＥＭＳ（マイクロ・エレクトロ・メカニカル・システム）技術を用いたスイッチがある。そのスイッチは、機械的に動かすことが可能な電極を有し、その電極が動くことによって、導通と非導通とを制御して動作する。
　本明細書等において、チャネル長とは、例えば、トランジスタの上面図において、半導体（またはトランジスタがオン状態のときに半導体の中で電流の流れる部分）とゲートとが重なる領域、またはチャネルが形成される領域における、ソースとドレインとの間の距離をいう。
　本明細書等において、チャネル幅とは、例えば、半導体（またはトランジスタがオン状態のときに半導体の中で電流の流れる部分）とゲート電極とが重なる領域、またはチャネルが形成される領域における、ソースとドレインとが向かい合っている部分の長さをいう。
　本明細書等において、ＡとＢとが接続されている、とは、ＡとＢとが直接接続されているものの他、電気的に接続されているものを含むものとする。ここで、ＡとＢとが電気的に接続されているとは、ＡとＢとの間で、何らかの電気的作用を有する対象物が存在するとき、ＡとＢとの電気信号の授受を可能とするものをいう。
　Ｃ４５　容量素子
Ｃ６１　容量素子
Ｃ６２　容量素子
ＭＮ６１　トランジスタ
ＭＮ６２　トランジスタ
ＭＯ４５　ＯＳトランジスタ
ＭＯ６１　ＯＳトランジスタ
ＭＯ６２　ＯＳトランジスタ
ＭＰ６１　トランジスタ
ＭＰ６２　トランジスタ
ＭＰ６３　トランジスタ
Ｔ０　時刻
Ｔ１　時刻
Ｔ２　時刻
Ｔ３　時刻
Ｔ４　時刻
Ｔ７　時刻
Ｔ８　時刻
Ｔ１０　時刻
Ｔ１１　時刻
Ｔ１２　時刻
Ｔ１７　時刻
Ｔ１８　時刻
Ｔ１９　時刻
Ｔ２０　時刻
Ｔ２１　時刻
Ｔ２２　時刻
Ｔ２８　時刻
Ｔ２９　時刻
Ｔｗｒｉｔｅ２　時刻
１０　データ処理回路
１１　インターフェース
１２　クロック生成回路
１３　マスターコントローラ
１４　データドライバ
１５　ワードドライバ
２０　ニューラルネットワーク回路
２１　メモリコントローラ
２２　メモリ
２３　演算ユニット
２４　データ入出力回路
３０　演算部
３１　レジスタ回路
４０　積和演算回路
４１　加算回路
５０　演算回路
５０＿Ａ　演算回路
５０＿ｎ　演算回路
５０＿１　演算回路
５０＿２　演算回路
５０＿３　演算回路
５０Ａ　演算回路
５１　入力レジスタ
５２　メモリ
５３　乗算回路
５４　加算回路
５５Ａ　出力レジスタ
５５Ｂ　出力レジスタ
５６Ａ　切り替え回路
５６Ｂ　切り替え回路
５７Ａ　メモリ素子
５７Ｂ　メモリ素子
５７Ｃ　メモリ素子
５８　パワースイッチ
６１　入力層
６２　中間層
６３　出力層
７０　入力処理
７１　入力データ
７２　演算処理
７３　演算処理
７４　プーリング演算処理
７５　演算処理
７６　プーリング演算処理
７７　全結合演算処理
８１　フィルタ
８２　フィルタ
８２＿１　フィルタ
８２＿２　フィルタ
８２＿３　フィルタ
８２＿９　フィルタ
８３　シンボル
８４　データ
８５　フィルタ
８６　データ
８７　データ
８８　フィルタ
８９　データ
９０　データ
９０＿Ａ　演算回路
９１　フィルタ
９２　データ
９３　入力データ
９４＿１　データ
９４＿２　データ
９４＿３　データ
９４＿４　データ
９５＿１　積和演算データ
９５＿２　積和演算データ
９５＿３　積和演算データ
９５＿４　積和演算データ
９６　メモリセル
９７　トランジスタ
９８　トランジスタ
１６１　メモリセル
１４００　ＤＯＳＲＡＭ
１４０５　コントローラ
１４１０　行回路
１４１１　デコーダ
１４１２　ワード線ドライバ
１４１３　列セレクタ
１４１４　センスアンプドライバ
１４１５　列回路
１４１６　グローバルセンスアンプアレイ
１４１７　入出力回路
１４２０　ＭＣ−ＳＡアレイ
１４２２　メモリセルアレイ
１４２３　センスアンプアレイ
１４２５　ローカルメモリセルアレイ
１４２６　ローカルセンスアンプアレイ
１４４４　スイッチアレイ
１４４５　メモリセル
１４４６　センスアンプ
１４４７　グローバルセンスアンプ
１６００　ＮＯＳＲＡＭ
１６１０　メモリセルアレイ
１６１１　メモリセル
１６１１−１６１４　メモリセル
１６１２　メモリセル
１６１３　メモリセル
１６１４　メモリセル
１６４０　コントローラ
１６５０　行ドライバ
１６５１　行デコーダ
１６５２　ワード線ドライバ
１６６０　列ドライバ
１６６１　列デコーダ
１６６２　ドライバ
１６６３　ＤＡＣ
１６７０　出力ドライバ
１６７１　セレクタ
１６７２　ＡＤＣ
１６７３　出力バッファ
７０００　ニューラルネットワークシステムＩＣ
７００１　リード
７００３　回路部
７０３１　Ｓｉトランジスタ層
７０３２　配線層
７０３３　ＯＳトランジスタ層

Claims (12)

  1. 　第１乃至第３の演算回路を有し、
    　前記第１乃至第３の演算回路はそれぞれ、第１のレジスタ、メモリ、乗算回路、および加算回路を有し、
    　前記第１のレジスタは、入力データを保持する機能を有し、
    　前記メモリは、重みデータを記憶する機能を有し、
    　前記メモリは、入力されるコンテキスト信号の切り替えに応じて異なる重みデータを出力する機能を有し、
    　前記第１の演算回路が有する乗算回路は、前記重みデータと前記入力データとの積に応じた乗算データを出力する機能を有し、
    　前記第１の演算回路が有する加算回路は、第１の加算データを出力する機能を有し、
    　前記第１の加算データは、前記乗算データと、前記第２の演算回路が有する加算回路が出力する第２の加算データとの和に応じたデータであり、
    　前記第１の加算データは、前記第３の演算回路が有する加算回路に出力されるデータである、ことを特徴とするニューラルネットワーク回路。
  2. 　請求項１において、
    　前記第１の演算回路と前記第２の演算回路との間、および前記第２の演算回路と前記第３の演算回路との間にプログラマブルスイッチエレメントを有し、
    　前記プログラマブルスイッチエレメントは、前記コンテキスト信号の切り替えによって前記第１乃至第３の演算回路間の電気的な接続を切り替える機能を有することを特徴とするニューラルネットワーク回路。
  3. 　請求項１において、
    　前記メモリはトランジスタを有し、
    　前記トランジスタは、チャネル形成領域に酸化物半導体を有するトランジスタであることを特徴とするニューラルネットワーク回路。
  4. 　請求項１において、
    　前記第１乃至第３の加算データは、畳み込み演算処理または全結合演算処理に用いられるデータであることを特徴とするニューラルネットワーク回路。
  5. 　請求項１において、
    　前記第１の演算回路は、第２のレジスタを有し、
    　前記第２のレジスタは、前記第１の加算データまたは前記乗算データを保持する機能を有することを特徴とするニューラルネットワーク回路。
  6. 　請求項１に記載の前記ニューラルネットワーク回路は、
    　活性化関数処理を行う回路、およびプーリング演算処理を行う回路を有することを特徴とするニューラルネットワーク回路。
  7. 　第１乃至第３の演算回路を有し、
    　前記第１の演算回路は、第１のレジスタ、第１のメモリ、第１の乗算回路、および第１の加算回路を有し、
    　前記第２の演算回路は、第２のレジスタ、第２のメモリ、第２の乗算回路、および第２の加算回路を有し、
    　前記第３の演算回路は、第３のレジスタ、第３のメモリ、第３の乗算回路、および第３の加算回路を有し、
    　前記第１乃至第３のレジスタは、それぞれに第１乃至第３の入力データを保持する機能を有し、
    　前記第１乃至第３のメモリは、それぞれ重みデータを記憶する機能を有し、
    　前記第１乃至第３のメモリは、それぞれに入力されるコンテキスト信号の切り替えに応じて異なる第１乃至第３の重みデータを出力する機能を有し、
    　前記第１の乗算回路は、前記第１の重みデータと前記第１の入力データとの積に応じた第１の乗算データを出力する機能を有し、
    　前記第２の乗算回路は、前記第２の重みデータと前記第２の入力データとの積に応じた第２の乗算データを出力する機能を有し、
    　前記第３の乗算回路は、前記第３の重みデータと前記第３の入力データとの積に応じた第３の乗算データを出力する機能を有し、
    　前記第１の加算回路は、第１の加算データを出力する機能を有し、
    　前記第２の加算回路は、第２の加算データを出力する機能を有し、
    　前記第３の加算回路は、第３の加算データを出力する機能を有し、
    　前記第２の加算データは、前記第２の乗算データと、前記第１の加算データとの和に応じたデータであり、
    　前記第１の加算データは、前記第１の乗算データと、前記第３の加算データを含むデータであることを特徴とするニューラルネットワーク回路。
  8. 　請求項７において、
    　前記第１乃至第３の演算回路間にプログラマブルスイッチエレメントを有し、
    　前記プログラマブルスイッチエレメントは、前記コンテキスト信号の切り替えによって前記第１乃至第３の演算回路間の電気的な接続を切り替える機能を有することを特徴とするニューラルネットワーク回路。
  9. 　請求項７において、
    　前記第１乃至第３のメモリはそれぞれトランジスタを有し、
    　前記トランジスタは、チャネル形成領域に酸化物半導体を有するトランジスタであることを特徴とするニューラルネットワーク回路。
  10. 　請求項７において、
    　前記第１乃至第３の加算データは、畳み込み演算処理または全結合演算処理に用いられるデータであることを特徴とするニューラルネットワーク回路。
  11. 　請求項７において、
    　前記第１の演算回路は、第４のレジスタを有し、
    　前記第２の演算回路は、第５のレジスタを有し、
    　前記第３の演算回路は、第６のレジスタを有し、
    　前記第４のレジスタは、前記第１の加算データまたは前記第１の乗算データを保持する機能を有し、
    　前記第５のレジスタは、前記第２の加算データまたは前記第２の乗算データを保持する機能を有し、
    　前記第６のレジスタは、前記第３の加算データまたは前記第３の乗算データを保持する機能を有することを特徴とするニューラルネットワーク回路。
  12. 　請求項７に記載の前記ニューラルネットワーク回路は、
    　活性化関数処理を行う回路、およびプーリング演算処理を行う回路を有することを特徴とするニューラルネットワーク回路。
PCT/IB2018/052250 2017-04-14 2018-04-02 ニューラルネットワーク回路 WO2018189620A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US16/604,363 US11568223B2 (en) 2017-04-14 2018-04-02 Neural network circuit
JP2019512042A JP7173709B2 (ja) 2017-04-14 2018-04-02 ニューラルネットワーク回路

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-080355 2017-04-14
JP2017080355 2017-04-14

Publications (1)

Publication Number Publication Date
WO2018189620A1 true WO2018189620A1 (ja) 2018-10-18

Family

ID=63793227

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/IB2018/052250 WO2018189620A1 (ja) 2017-04-14 2018-04-02 ニューラルネットワーク回路

Country Status (3)

Country Link
US (1) US11568223B2 (ja)
JP (1) JP7173709B2 (ja)
WO (1) WO2018189620A1 (ja)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200048750A (ko) * 2018-10-30 2020-05-08 성균관대학교산학협력단 머신러닝 가속기 및 그의 행렬 연산 방법
CN111353122A (zh) * 2018-12-24 2020-06-30 旺宏电子股份有限公司 可做内乘积运算的存储器储存装置及其操作方法
CN111581141A (zh) * 2019-02-19 2020-08-25 旺宏电子股份有限公司 存储器装置及其操作方法
CN112114775A (zh) * 2019-06-21 2020-12-22 旺宏电子股份有限公司 立体存储器阵列装置与乘积累加方法
CN112115078A (zh) * 2019-06-19 2020-12-22 铠侠股份有限公司 存储系统、存储控制器及半导体存储装置
WO2021009586A1 (ja) * 2019-07-12 2021-01-21 株式会社半導体エネルギー研究所 積和演算回路と記憶装置を有する半導体装置、電子部品、および電子機器
WO2021079235A1 (ja) * 2019-10-25 2021-04-29 株式会社半導体エネルギー研究所 演算回路、半導体装置、及び電子機器
WO2021165779A1 (ja) * 2020-02-21 2021-08-26 株式会社半導体エネルギー研究所 半導体装置
WO2022265044A1 (ja) * 2021-06-18 2022-12-22 国立大学法人東北大学 演算処理装置

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020165685A1 (ja) 2019-02-15 2020-08-20 株式会社半導体エネルギー研究所 半導体装置、及び電子機器
JP7027371B2 (ja) * 2019-06-03 2022-03-01 株式会社東芝 ニューラルネットワークの演算装置、ニューラルネットワーク、ニューラルネットワークの制御方法
US11521658B2 (en) * 2019-06-25 2022-12-06 Sandisk Technologies Llc Binary weighted voltage encoding scheme for supporting multi-bit input precision
CN111627479B (zh) * 2020-05-29 2022-05-27 北京大学 编码型闪存装置、系统和编码方法
CN112181895B (zh) * 2020-09-02 2023-06-06 上海交通大学 可重构架构、加速器、电路部署和计算数据流方法
CN114330694A (zh) * 2021-12-31 2022-04-12 上海集成电路装备材料产业创新中心有限公司 实现卷积运算的电路及其方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0652132A (ja) * 1992-07-28 1994-02-25 Mitsubishi Electric Corp 並列演算半導体集積回路装置およびそれを用いたシステム
JPH06274459A (ja) * 1993-03-17 1994-09-30 Hitachi Ltd 半導体集積回路装置
JP2010134697A (ja) * 2008-12-04 2010-06-17 Canon Inc コンボリューション演算回路、階層的コンボリューション演算回路及び物体認識装置
JP2016219011A (ja) * 2015-05-21 2016-12-22 株式会社半導体エネルギー研究所 電子装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10331997B2 (en) 2014-05-07 2019-06-25 Seagate Technology Llc Adaptive configuration of a neural network device
US10489116B1 (en) * 2014-07-09 2019-11-26 Altera Corporation Programmable integrated circuits with multiplexer and register pipelining circuitry
US10228911B2 (en) * 2015-10-08 2019-03-12 Via Alliance Semiconductor Co., Ltd. Apparatus employing user-specified binary point fixed point arithmetic
US10528321B2 (en) * 2016-12-07 2020-01-07 Microsoft Technology Licensing, Llc Block floating point for neural network implementations
JP6794854B2 (ja) * 2017-02-02 2020-12-02 富士通株式会社 演算処理装置及び演算処理装置の制御方法
US10175944B2 (en) * 2017-04-12 2019-01-08 Intel Corporation Mixed-precision floating-point arithmetic circuitry in specialized processing blocks

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0652132A (ja) * 1992-07-28 1994-02-25 Mitsubishi Electric Corp 並列演算半導体集積回路装置およびそれを用いたシステム
JPH06274459A (ja) * 1993-03-17 1994-09-30 Hitachi Ltd 半導体集積回路装置
JP2010134697A (ja) * 2008-12-04 2010-06-17 Canon Inc コンボリューション演算回路、階層的コンボリューション演算回路及び物体認識装置
JP2016219011A (ja) * 2015-05-21 2016-12-22 株式会社半導体エネルギー研究所 電子装置

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200048750A (ko) * 2018-10-30 2020-05-08 성균관대학교산학협력단 머신러닝 가속기 및 그의 행렬 연산 방법
KR102191428B1 (ko) 2018-10-30 2020-12-15 성균관대학교산학협력단 머신러닝 가속기 및 그의 행렬 연산 방법
CN111353122A (zh) * 2018-12-24 2020-06-30 旺宏电子股份有限公司 可做内乘积运算的存储器储存装置及其操作方法
CN111353122B (zh) * 2018-12-24 2023-04-07 旺宏电子股份有限公司 可做内乘积运算的存储器储存装置及其操作方法
CN111581141A (zh) * 2019-02-19 2020-08-25 旺宏电子股份有限公司 存储器装置及其操作方法
TWI768277B (zh) * 2019-06-19 2022-06-21 日商鎧俠股份有限公司 記憶體系統、記憶體控制器及非揮發性半導體記憶體
CN112115078A (zh) * 2019-06-19 2020-12-22 铠侠股份有限公司 存储系统、存储控制器及半导体存储装置
CN112115078B (zh) * 2019-06-19 2024-04-05 铠侠股份有限公司 存储系统、存储控制器及半导体存储装置
CN112114775A (zh) * 2019-06-21 2020-12-22 旺宏电子股份有限公司 立体存储器阵列装置与乘积累加方法
CN112114775B (zh) * 2019-06-21 2024-04-09 旺宏电子股份有限公司 立体存储器阵列装置与乘积累加方法
WO2021009586A1 (ja) * 2019-07-12 2021-01-21 株式会社半導体エネルギー研究所 積和演算回路と記憶装置を有する半導体装置、電子部品、および電子機器
WO2021079235A1 (ja) * 2019-10-25 2021-04-29 株式会社半導体エネルギー研究所 演算回路、半導体装置、及び電子機器
WO2021165779A1 (ja) * 2020-02-21 2021-08-26 株式会社半導体エネルギー研究所 半導体装置
WO2022265044A1 (ja) * 2021-06-18 2022-12-22 国立大学法人東北大学 演算処理装置

Also Published As

Publication number Publication date
US11568223B2 (en) 2023-01-31
US20200160158A1 (en) 2020-05-21
JP7173709B2 (ja) 2022-11-16
JPWO2018189620A1 (ja) 2020-02-27

Similar Documents

Publication Publication Date Title
WO2018189620A1 (ja) ニューラルネットワーク回路
US11061646B2 (en) Compute in memory circuits with multi-Vdd arrays and/or analog multipliers
US10748603B2 (en) In-memory multiply and accumulate with global charge-sharing
US20230039948A1 (en) Methods for reading data from a storage buffer including delaying activation of a column select
CN110875076A (zh) 具有自旋轨道转矩设备的内容可寻址存储器
US10956813B2 (en) Compute-in-memory circuit having a multi-level read wire with isolated voltage distributions
CN111652363A (zh) 存算一体电路
KR102182217B1 (ko) 디램 기반 프로세싱 유닛
CN113467751B (zh) 一种基于磁性随机存储器的模拟域存内计算阵列结构
KR20210059815A (ko) 메모리 기반의 뉴로모픽 장치
CN110729011B (zh) 用于类神经网路的存储器内运算装置
Zhang et al. The application of non-volatile look-up-table operations based on multilevel-cell of resistance switching random access memory
CN116126779A (zh) 一种9t存算电路、乘累加运算电路、存内运算电路及芯片
JP2018129046A (ja) Ａｉシステム
US20170169869A1 (en) Nonvolatile random access memory including control circuit configured to receive commands at high and low edges of one clock cycle
CN108154227B (zh) 一种使用模拟计算的神经网络芯片
CN108154226B (zh) 一种使用模拟计算的神经网络芯片
Lalchhandama et al. In-memory computing on resistive ram systems using majority operation
JP2007213747A (ja) 強誘電体キャパシタを用いた演算処理回路および演算方法
US20210158870A1 (en) Dynamic digital perceptron
KR102555621B1 (ko) 메모리 내의 컴퓨팅 회로 및 방법
CN114974337A (zh) 一种基于自旋磁随机存储器的时间域存内计算电路
Dhakad et al. In-Memory Computing with 6T SRAM for Multi-operator Logic Design
CN113724764B (zh) 基于非易失存储器的乘法装置
JP2023153736A (ja) メモリシステム及びメモリシステムの操作方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18783888

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019512042

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18783888

Country of ref document: EP

Kind code of ref document: A1