WO2021111490A1 - 分散処理用計算機および分散深層学習システム - Google Patents

分散処理用計算機および分散深層学習システム Download PDF

Info

Publication number
WO2021111490A1
WO2021111490A1 PCT/JP2019/046966 JP2019046966W WO2021111490A1 WO 2021111490 A1 WO2021111490 A1 WO 2021111490A1 JP 2019046966 W JP2019046966 W JP 2019046966W WO 2021111490 A1 WO2021111490 A1 WO 2021111490A1
Authority
WO
WIPO (PCT)
Prior art keywords
accelerators
learning
processing
distributed processing
input data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2019/046966
Other languages
English (en)
French (fr)
Inventor
顕至 田仲
勇輝 有川
伊藤　猛
和彦 寺田
坂本　健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Inc
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2021562204A priority Critical patent/JP7283576B2/ja
Priority to US17/777,217 priority patent/US12450481B2/en
Priority to PCT/JP2019/046966 priority patent/WO2021111490A1/ja
Publication of WO2021111490A1 publication Critical patent/WO2021111490A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0499—Feedforward networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/098—Distributed learning, e.g. federated learning

Definitions

  • the present invention relates to a distributed processing computer and a distributed deep learning system, and more particularly to a distributed processing computer having an arithmetic processing unit (central processing unit: CPU), a plurality of accelerators, and a network interface circuit, and a plurality of distributed processing. It relates to a distributed deep learning system using a computer.
  • CPU central processing unit
  • accelerators accelerators
  • network interface circuit network interface circuit
  • each of a plurality of computers performs forward propagation and back propagation for each computer based on the divided data, derives weight data of a model (replica) individually, and individually derives the weight data of the model (replica).
  • the weight data after backpropagation derived from is shared among all computers by communication.
  • the sharing of this weight data is a collective communication called "Allreduce”.
  • This Allreduce process includes a process of summing up the weight data after back propagation obtained for each computer (Reduction) and distributing it to all computers (Broadcast).
  • Each computer updates the value of each parameter with the shared weight data after Allreduce processing (in many cases, the average of the weight data derived in each of the computers). While this Allreduce plays an important role in data parallel distributed deep learning, it is known to be a bottleneck.
  • each layer of the multi-layer neural network is assigned to one accelerator.
  • each accelerator transfers the calculation result to the accelerator in charge of the layer lower than itself, and starts processing the next data.
  • pipeline processing Such processing is called pipeline processing.
  • FIG. 12 shows a configuration example of a computer used for the above-mentioned parallel distributed deep learning.
  • the computer 100 includes a CPU 120, a plurality of accelerators 130-1 to 130-4, and a network interface card (NIC) 140.
  • the plurality of accelerators 130-1 to 130-4 each correspond to a plurality of layers of the neural network.
  • accelerators 130-1 to 130-4 perform forward propagation processing and back propagation processing, respectively, based on the data input for learning, and finally calculate the parameter values of the neural network.
  • the computer 100 collectively processes four data by a plurality of accelerators 130-1 to 130-4.
  • a plurality of data processed together is called a "mini-batch". That is, every time a mini-batch containing four data is input, the computer 100 sequentially performs forward propagation processing and back propagation processing on each data by pipeline parallel processing, and learning derived for each data. The average of the results is calculated.
  • “Fij” represents a forward propagation process based on the j-th data included in the mini-batch by the accelerator (i-th accelerator) corresponding to the i-th layer of the neural network, and “Bik”. Represents the backpropagation process based on the output result for the k-th data by the i-th accelerator.
  • "F11” represents a forward propagation process based on the first data included in the mini-batch by the accelerator 1 to which the first layer of the neural network is assigned
  • “F21” is the forward propagation process F11. Represents the forward propagation process performed by the accelerator 2 to which the second layer of the neural network is assigned based on the result of.
  • B41 represents the backpropagation process performed by the same accelerator 4 based on the result of the forward propagation process F41 by the accelerator 4 to which the fourth layer (output layer) of the neural network is assigned
  • B31 is Based on the result of the backpropagation process B41, the backpropagation process performed by the accelerator 3 to which the third layer of the neural network is assigned is represented.
  • an object of the present invention is to provide a computer, a distributed deep learning system, and a method capable of performing distributed deep learning in a shorter time by using a computer equipped with a plurality of accelerators.
  • a part of the neural network is assigned to each, and the learning result is derived based on the input data, and the learning result is derived.
  • a plurality of accelerators (13-1 to 13-4) configured to update the values of parameters included in a part of the neural network using the learning results, and the learning results each via the network.
  • a plurality of network interface circuits (14-1 to 14-4) configured to transmit and receive information regarding learning including the above, the plurality of accelerators, and the plurality of network interface circuits are controlled to control the plurality of accelerators.
  • a learning result is derived from each of them based on input data, and information about learning including the learning result derived from each of the plurality of accelerators is transmitted and received in parallel to the plurality of network interface circuits. It is provided with an arithmetic processing device (12).
  • the distributed deep learning system includes a plurality of computers (10-1, 10-2) that are communicably connected to each other via a network, and each of the plurality of computers has the above-mentioned distributed processing.
  • the plurality of network interface circuits (14-1 to 14-4) of one of the plurality of computers are the multiple learning results derived from the plurality of accelerators of the one computer.
  • the plurality of learning results derived by the plurality of accelerators of the other computers among the plurality of computers are transmitted and received in parallel, and the plurality of accelerators (13-1 to 13-4) of the one computer transmit and receive in parallel.
  • the value of the parameter is updated based on the learning result derived by the plurality of accelerators and the plurality of learning results received from the other computers via the plurality of network interface circuits.
  • FIG. 1 is a diagram showing an outline of a distributed deep learning system according to the first embodiment of the present invention.
  • FIG. 2 is a diagram showing a configuration of a distributed processing computer constituting a distributed deep learning system according to the first embodiment of the present invention.
  • FIG. 3 is a diagram for explaining the relationship between the neural network and the computer for distributed processing.
  • FIG. 4 is a diagram for explaining the operation of the distributed processing computer constituting the distributed deep learning system according to the first embodiment of the present invention.
  • FIG. 5 is a diagram showing a configuration of a distributed processing computer according to a modified example of the first embodiment of the present invention.
  • FIG. 6 is a diagram for explaining the operation of the distributed processing computer according to the modified example of the first embodiment of the present invention.
  • FIG. 1 is a diagram showing an outline of a distributed deep learning system according to the first embodiment of the present invention.
  • FIG. 2 is a diagram showing a configuration of a distributed processing computer constituting a distributed deep learning system according to the first embodiment of the present invention
  • FIG. 7 is a diagram for explaining an example of the operation of the distributed processing computer according to the second embodiment of the present invention.
  • FIG. 8A is a diagram showing a configuration of a distributed processing computer according to a third embodiment of the present invention.
  • FIG. 8B is a diagram conceptually showing the configuration of the FPGA NIC used in the distributed processing computer according to the third embodiment of the present invention.
  • FIG. 9 is a diagram for explaining an example of the operation of the distributed processing computer according to the third embodiment of the present invention.
  • FIG. 10A is a diagram showing a configuration of a distributed processing computer according to a fourth embodiment of the present invention.
  • FIG. 10B is a diagram conceptually showing the configuration of the FPGA NIC used in the distributed processing computer according to the fourth embodiment of the present invention.
  • FIG. 10A is a diagram showing a configuration of a distributed processing computer according to a fourth embodiment of the present invention.
  • FIG. 10B is a diagram conceptually showing the configuration of the FPGA NIC used in the distributed processing computer
  • FIG. 11 is a diagram for explaining an example of the operation of the distributed processing computer according to the fourth embodiment of the present invention.
  • FIG. 12 is a diagram showing a configuration of a conventional computer for distributed processing.
  • FIG. 13 is a diagram for explaining an example of the operation of the conventional distributed processing computer.
  • the distributed deep learning system according to the first embodiment of the present invention is a data parallel deep learning system that distributes and learns data among a plurality of distributed processing computers that are communicably connected to each other. As shown in FIG. 1, the distributed deep learning system 1 is composed of two distributed processing computers 10-1 and 10-2 that are communicably connected to each other via a communication network 50.
  • the distributed processing computers 10-1 and 10-2 have the same hardware configuration as each other. As shown in FIG. 2, the distributed processing computers 10-1 and 10-2 have a plurality of accelerators 13-1 to 13-4 and a plurality of network interface cards (hereinafter referred to as "NIC") 14-, respectively. It is provided with 1 to 14-4 and a central computer processing unit (hereinafter referred to as "CPU") 12 for controlling these accelerators 13-1 to 13-4 and NIC 14-1 to 14-4.
  • CPU central computer processing unit
  • NICs 14-1 to 14-4 are card-type expansion devices for connecting the distributed processing computers 10-1 and 10-2 to the communication network 50, respectively.
  • the accelerators 13-1 to 13-4 and NIC14-1 to 14-4 are connected via the CPU 12, and this is an example of connection using PCI Express (PCIe). Is.
  • PCIe PCI Express
  • accelerators 13-1 to 13-4 and NIC14-1 to 14-4 may be connected via a PCIe switch without going through a CPU.
  • the distributed processing computers 10-1 and 10-2 are devices that emulate a deep neural network having a plurality of intermediate layers, respectively. More specifically, as shown in FIG. 3, the deep neural network DNN is divided into several layers, and the plurality of layers are the accelerators of the distributed processing computers 10-1 and 10-2, respectively. They are assigned to 13-1 to 13-4, respectively. In the present embodiment, each divided layer corresponds to a "part of a neural network" in the present invention. For the sake of simplicity, the CPU 12 of the distributed processing computers 10-1 and 10-2 is not shown in FIG.
  • the plurality of NICs 14-1 to 14-4 are associated with any of the plurality of accelerators 13-1 to 13-4, respectively.
  • the same number of NICs 14-1 to 14-4 as the accelerators 13-1 to 13-4 are provided, and the NICs 14-1 to 14-4 and the accelerators 13-1 to 13-4 are 1 to each other. It is associated with one-to-one.
  • each layer of the deep neural network DNN is assigned to a pair of an accelerator and a NIC.
  • the accelerators 13-1 to 13-4 controlled by the CPU 12 sequentially perform forward propagation processing and back propagation processing.
  • the accelerators 13-1 to 13-4 first sequentially perform forward propagation processing by pipeline parallel based on each of the input data (FIG. 4, "forward propagation processing" phase).
  • the forward propagation process is a process of performing a product-sum calculation of the output of each neuron based on the input data and the weight between the neurons of the next layer in order from the input layer of the deep neural network DNN, and the layers are assigned. It is executed by accelerators 13-1 to 13-4. This weight can be mentioned as one of the "parameters" in the present invention.
  • the back propagation process is, for example, a process of propagating the output error obtained by the forward propagation process from the output layer to the input layer to obtain the gradient of each weight.
  • the accelerators 13-1 to 13-4 derive the gradient of each weight based on each of the four input data for each layer, the average of the gradient of each weight is calculated for each layer, and this average is calculated.
  • the learning result is based on the mini-batch (Fig. 4 "Batch average” phase.
  • mini-batch average the process of calculating the average of the learning results derived from each input data in units of the mini-batch is referred to as "mini-batch average” or simply "batch average”. Sometimes.).
  • the process of calculating the average of the gradients of each weight is performed in parallel between the accelerators 13-1 to 13-4.
  • the forward propagation processing, the back propagation processing, and the mini-batch averaging processing as described above are also performed on the mini-batch containing different input data in other distributed processing computers 10-2, and the gradient of each weight is obtained.
  • each of the accelerators 13-1 to 13-4 calculates the learning result, that is, the average of the gradient of each weight for each layer in each of the distributed processing computers 10-1 and 10-2, the NIC 14 of each distributed processing computer As shown in FIG. 4, each of -1 to 14-4 transmits the learning result of each layer derived by the accelerators 13-1 to 13-4 of the own device to another computer for dispersion processing, and other dispersions.
  • the learning results of each layer derived from the accelerators 13-1 to 13-4 of the processing computer are received, and the learning results of each layer derived from the accelerators 13-1 to 13-4 of the own device are added to this. Send to another computer.
  • CINs 14-1 to 14-4 correspond to the other distributed processing computers 10-2 via the communication network 50.
  • a computer for distributed processing 10 by communicating with a NIC, that is, a NIC associated with each other for each layer of the deep neural network DNN, and transmitting and receiving information on learning derived for each layer, that is, an average of each weight of each layer.
  • the learning results derived in -1 and 10-2, that is, the average of each weight is shared (Fig. 4, "communication" phase).
  • the process of sharing the learning results by NIC14-1 to 14-4 in this way is nothing but the Allreduce process in the data parallel distributed deep learning.
  • Each of the plurality of accelerators 13-1 to 13-4 is included in each layer of the deep neural network DNN using the learning result shared via each of NIC14-1 to 14-4, that is, the gradient of each weight.
  • Each weight is updated individually (Fig. 4, "update” phase).
  • a new mini-batch is given to the distributed processing computers 10-1 and 10-2, respectively, and the above-mentioned processing is performed based on the input data included in the new mini-batch to obtain each weight. Update.
  • Such a learning process is repeated a predetermined number of times depending on the number of input data or until the gradient of each weight becomes smaller than a predetermined value.
  • the distributed processing computers 10-1 and 10-2 used in the distributed deep learning system 1 each include a plurality of NICs 14-1 to 14-4, the distributed processing computers 10- Communication between 1, 10-2 can be executed in parallel at the device level, and overhead is reduced. Therefore, it is possible to avoid the occurrence of congestion when sharing the learning results between the distributed processing computers 10-1 and 10-2, and it is possible to learn the deep neural network at a higher speed.
  • the distributed deep learning system 1 is composed of two distributed processing computers 10-1 and 10-2 has been described as an example, but the distributed processing computers are limited to two. It may be composed of three or more distributed processing computers.
  • the communication network 50 including a plurality of distributed processing computers may form a ring type network or a star type network.
  • NIC14-1 to 14-4 and accelerators 13-1 to 13-4 are associated with each other on a one-to-one basis, but in the present invention, NIC14-1 ⁇ 14-4 and accelerators 13-1 to 13-4 do not necessarily have to be the same number. That is, the ratio of the accelerator to the NIC may be set to such an extent that congestion does not occur. For example, a plurality of accelerators may be associated with one of the plurality of NICs.
  • the embodiment in which the deep neural network DNN has four layers and the distributed processing computers 10-1 and 10-2 each have four accelerators has been described as an example, but the number of accelerators is large. It is determined according to the number of layers constituting the deep neural network DNN and the method of dividing them.
  • the pipeline parallel processing has been described as an example in which the mini-batch given to each of the distributed processing computers 10-1 and 10-2 includes four input data, the size of the mini-batch can be arbitrarily determined. Yes, not limited to 4.
  • the distributed processing computer 20-1 (20-2) according to the modified example of the first embodiment described above may include the CPU 12 and a plurality of accelerators 13-1 to 13-4. , NIC 14 in the distributed processing computer 10-1 (10-2) according to the first embodiment, which is common to the distributed processing computer 10-1 (10-2) according to the first embodiment described above. It is equipped with FPGA NIC24-1 to 24-4 instead of -1 to 14-4. Each of these FPGA NICs 24-1 to 24-4 is equipped with a circuit for executing Allreduce processing.
  • the circuit that executes Allreduce means that the learning results received from the corresponding accelerators 13-1 to 13-4 of the own device are transmitted to the corresponding FPGA NICs of other distributed processing computers, and all the computers are used.
  • the operations of the distributed processing computer 20-1 (20-2) are performed in the same order as the distributed processing computer 10-1 (10-2) according to the first embodiment.
  • the order is propagation processing phase, backpropagation processing phase, batch average phase, communication phase, and update phase.
  • the addition of the Allreduce processing is executed in the accelerators 13-1 to 13-4, so that the calculation kernel and the communication kernel are executed.
  • the distributed processing computer includes a CPU and a plurality of distributed processing computers 20-1 (20-2) according to the modified example of the first embodiment shown in FIG. It is equipped with an accelerator and a plurality of FPGA NICs. Each of the plurality of FPGA NICs is equipped with a circuit for executing the Allreduce process, as in the modification of the first embodiment described above.
  • FIG. 7 The operation of the distributed processing computer according to the second embodiment will be described with reference to FIG. 7.
  • FIGS. 3 and 6 As shown in, after performing forward propagation processing and back propagation processing based on each of the input data included in the mini-batch, averaging the learning results of each data in the mini-batch, and then communicating with other distributed processing computers, Allreduce
  • FIG. 7 each time the back propagation calculation based on each input data is completed, the processing is immediately performed between the computers.
  • Allreduce processing accompanied by communication is executed, then mini-batch averaging processing is performed, and the parameter value (weight) is updated.
  • the back propagation processing and the Allreduce processing are overlapped and pipeline processing is performed for each input data. Therefore, each accelerator calculates the average of a plurality of learning results derived based on each of the input data and subjected to Allreduce processing.
  • the distributed processing computer 10-1 (10-2) In the distributed processing computer 10-1 (10-2) according to the first embodiment, overhead occurs when the calculation kernel and the communication kernel are executed alternately. Further, in the distributed processing computer 10-1 (10-2) according to the first embodiment, after the accelerators 13-1 to 13-4 are mini-batch averaged, the data is transferred to NIC14-1 to 14-4, respectively. Since it is sent and the Allreduc processing is executed, and then it is sent to the accelerator again and updated, there is a positive data movement time. On the other hand, according to the distributed processing computer according to the second embodiment, since the overhead of kernel switching does not occur, the communication time becomes shorter. Further, in the distributed processing computer according to the second embodiment, the time for transferring data from the accelerator to the FPGA NIC is hidden by the back propagation processing, so that the learning becomes shorter.
  • the distributed processing computer includes a CPU 12, a plurality of accelerators 13-1 to 13-4, and a plurality of FPGA NICs 34-1 to 34-4. There is. As shown in FIG. 8B, each of the plurality of FPGA NICs 34-1 to 34-4 is equipped with a forward propagation processing circuit and a part or all of the back propagation processing circuit together with the NIC.
  • FPGA NICs 34-1 to 34-4 are equipped with all of the forward propagation processing circuit and the back propagation processing circuit together with the NIC, respectively (hereinafter referred to as "case 1"), as shown in FIG.
  • the accelerators 13-1 to 13-4 and the FPGA NIC34-1 to 34-4 can process different input data included in the mini-batch, respectively.
  • the forward propagation processing phase when the FPGA NIC34-1 to 34-4 are equipped with a forward propagation processing circuit and a part of the back propagation processing together with the NIC, respectively (hereinafter referred to as "case 2"), the forward propagation processing phase. Then, the accelerators 13-1 to 13-4 and the FPGA NIC34-1 to 34-4 process different input data contained in the mini-batch, respectively, and in the backpropagation processing phase, the accelerators 13-1 to 13-4 respectively process. After calculating halfway through the backpropagation process, the calculation is handed over to the corresponding FPGA NIC34-1 to 34-4, mini-batch averaging is performed with the accelerators 13-1 to 13-4 or FPGA NIC34-1 to 34-4, and Allreduce processing Communicate for.
  • the forward propagation processing is performed.
  • accelerators 13-1 to 13-4 and FPGA NIC34-1 to 34-4 process different data contained in the mini-batch, respectively, and in the back-propagation processing phase, the accelerator 13 performs the intermediate calculation required for back-propagation. -1 to 13-4 are not retained, and FPGA NIC34-1 to 34-4 recalculate each time and execute backpropagation processing.
  • FPGA NIC34-1 to 34-4 are different from the conventional von Neumann type accelerators, and since the processing is implemented by hardware, learning can be performed at higher speed.
  • the throughput of the data of the accelerators 13-1 to 13-4 and the FPGA NIC is doubled in the forward propagation process and the back propagation process.
  • the throughput of forward propagation is doubled, and the back propagation is also faster by the amount executed by the FPGA.
  • the mini-batch average is executed by FPGA, the data movement is reduced, so that the overhead is reduced accordingly.
  • the throughput of the forward propagation is doubled, and the accelerator can discard the intermediate calculation, so that the device memory of the accelerator can be used more effectively.
  • the distributed processing computer 40-1 (40-2) includes a CPU 12, a plurality of accelerators 13-1 to 13-4, and a plurality of FPGA NIC44-1. It is equipped with ⁇ 44-4.
  • the FPGA NICs 44-1 to 44-4 each include a feedforward processing circuit together with the NIC.
  • the distributed processing computer 40-1 (40-2) has forward propagation processing mounted on FPGA NIC44-1 to 44-4 in the forward propagation processing phase.
  • the circuit sequentially performs forward propagation processing based on a plurality of input data included in the mini-batch, starts backpropagation during the forward propagation processing, and starts communication during the back propagation processing.
  • the FPGA NIC44-4 to which the fourth layer, which is the output layer of the deep neural network DNN, is assigned sequentially terminates the forward propagation processes F41 to F44 based on the input data included in the mini-batch. As soon as the accelerator 13-4 performs the back propagation processes B41 to B44 in sequence. This causes forward propagation and back propagation to overlap. Further, the FPGA NIC44-1 to 44-4, respectively, sequentially start communication with other distributed processing computers following the forward propagation processing. This causes backpropagation and communication to overlap.
  • the processing time can be further shortened by the overlap between forward propagation and back propagation, and the overlap between back propagation and communication.
  • the deep learning system including the distributed processing computer according to the embodiment of the present invention
  • information on learning including learning results derived from each of a plurality of accelerators is paralleled by a plurality of network interface circuits. Since it is transmitted and received to, distributed deep learning can be performed in a shorter time.
  • the present invention can be used for a deep learning system.
  • Distributed deep learning system 10-1, 10-2, 20-1, 30-1, 40-1 ... Distributed processing computer, 12 ... CPU, 13-1 to 13-4 ... Accelerator, 14-1 to 14-4 ... NIC, 24-1 to 24-4, 34-1 to 34-4, 44-1 to 44-4 ... FPGA NIC.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Neurology (AREA)
  • Multi Processors (AREA)

Abstract

複数のアクセラレータを備えた計算機を用いてより短い時間で分散深層学習を行うために、分散処理用計算機（１０－１，１０－２）は、それぞれにニューラルネットワークの一部分が割り付けられ、入力データに基づいて学習結果を導出するとともに、前記学習結果を用いて前記ニューラルネットワークの一部分に含まれるパラメータの値をそれぞれ更新するように構成された、複数のアクセラレータ（１３－１～１３－４）と、それぞれがネットワークを介して前記学習結果を含む学習に関する情報を送受信するように構成された複数のネットワークインターフェース回路（１４－１～１４－４）と、前記複数のアクセラレータおよび前記複数のネットワークインターフェース回路を制御して、前記複数のアクセラレータのそれぞれに入力データに基づいて学習結果を導出させるとともに、前記複数のネットワークインターフェース回路に、前記複数のアクセラレータにそれぞれ導出させた前記学習結果を含む学習に関する情報を並列に送受信させるように構成された、演算処理装置（１２）とを備える。

Description

分散処理用計算機および分散深層学習システム
　本発明は、分散処理用計算機および分散深層学習システムに関し、特に、演算処理装置（セントラルプロセッシングユニット：ＣＰＵ）と、複数のアクセラレータと、ネットワークインターフェース回路とを有する分散処理用計算機、および複数の分散処理用計算機を用いた分散深層学習システムに関する。
　多層のニューラルネットワークによる深層学習では、順伝播（Ｆｅｅｄｆｏｒｗａｒｄ）と逆伝播（Ｂａｃｋ　ｐｒｏｐａｇａｔｉｏｎ）とを交互に行うことで、入力データに適合したモデルを学習する。順伝播および逆伝播を効率的に行うために、近年ではＧＰＵ（Ｇｒａｐｈｉｃｓ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）などのアクセラレータが用いられる。
　さらに、近年では、データサイズとモデルサイズとが増大したために、これらを分散処理する方法が提案されている。
　たとえば、深層学習を１台の計算機で処理しようとした場合には、入力データサイズが増大したことによって、ストレージやＩ／Ｏのボトルネックが発生してしまう。そこで、複数台の計算機の間でデータを分散させて学習を行う「データ並列分散深層学習」が提案されている。
　また、モデルサイズが増大すると、１つのアクセラレータのデバイスのメモリにモデルが記録しきれなくなり、主記憶にモデルを記憶する必要が生じる。すると、アクセラレータにおいてモデルデータの読み書きにより遅延が発生してしまう。そこで、複数台のアクセラレータを用い、モデルを分散させて学習を行う「パイプライン並列分散深層学習」が提案されている。
　並列分散深層学習においては、上述した複数の計算機による分散処理（データ並列）と計算機内での分散処理（パイプライン並列）とを併用することもできる。
　ところで、データ並列分散深層学習では、複数の計算機のそれぞれは、分割されたデータに基づいて計算機毎に順伝播および逆伝播を行って、個別にモデル（レプリカ）の重みデータを導出し、その個別に導出された逆伝播後の重みデータを通信により全計算機間で共有する。この重みデータの共有は、「Ａｌｌｒｅｄｕｃｅ」という集団通信である。このＡｌｌｒｅｄｕｃｅ処理は、計算機毎に得られた逆伝播後の重みデータを合計（Ｒｅｄｕｃｅ）し、全計算機に分配（Ｂｒｏａｄｃａｓｔ）する処理を含む。各計算機は、Ａｌｌｒｅｄｕｃｅ処理後の共有された重みデータ（多くの場合においては、計算機のそれぞれにおいて導出された重みデータの平均）をもって各パラメータの値を更新する。このＡｌｌｒｅｄｕｃｅは、データ並列分散深層学習において重要な役割を持つ反面、ボトルネックになることが知られている。
　一方、パイプライン並列分散深層学習では、多層ニューラルネットの各層をそれぞれひとつのアクセラレータに割り付ける。各アクセラレータは、担当する層の処理が終了次第、自らよりも下層を担当しているアクセラレータに計算結果を転送し、次のデータの処理にとりかかる。このような処理はパイプライン処理と呼ばれる。
　図１２は、上述した並列分散深層学習に用いられる計算機の構成例を示している。
　図１２に示すように、計算機１００は、ＣＰＵ１２０と、複数のアクセラレータ１３０－１～１３０－４と、ネットワークインターフェースカード（ＮＩＣ）１４０とを備えている。ここで複数のアクセラレータ１３０－１～１３０－４は、それぞれニューラルネットワークの複数の層にそれぞれ対応している。
　このような計算機１００では、学習用に入力されたデータに基づいて、アクセラレータ１３０－１～１３０－４がそれぞれ順伝播処理と逆伝播処理とを行い、最終的にニューラルネットワークのパラメータの値を算出する。図１３に示すように、この例において計算機１００は、複数のアクセラレータ１３０－１～１３０－４によって４つのデータをまとめて処理している。これらまとめて処理される複数のデータは「ミニバッチ」と呼ばれる。すなわち、計算機１００は、４つのデータを含むミニバッチが入力されるごとに、各データに対してパイプライン並列処理により順次、順伝播処理を行い、逆伝播処理を行い、データごとに導出された学習結果の平均を算出している。
　なお、図１３等において、「Ｆij」は、ニューラルネットワークのｉ番目の層に対応するアクセラレータ（ｉ番目のアクセラレータ）による、ミニバッチに含まれるｊ番目のデータに基づく順伝播処理を表し、「Ｂik」は、ｉ番目のアクセラレータによるｋ番目のデータに対する出力結果に基づく逆伝播処理を表している。例えば、図１３において、「Ｆ11」は、ニューラルネットワークの第１層が割り付けられたアクセラレータ１による、ミニバッチに含まれる１番目のデータに基づく順伝播処理を表し、「Ｆ21」は、順伝播処理Ｆ11の結果に基づいてニューラルネットワークの第２層が割り付けられたアクセラレータ２が行う順伝播処理を表す。同様に、「Ｂ41」は、ニューラルネットワークの第４層（出力層）が割り付けられたアクセラレータ４による順伝播処理Ｆ41の結果に基づいて、同じアクセラレータ４が行う逆伝播処理を表し、「Ｂ31」は、逆伝播処理Ｂ41の結果に基づき、ニューラルネットワークの第３層が割り付けられたアクセラレータ３が行う逆伝播処理を表している。
　一般的なパイプライン並列では、ミニバッチに含まれるデータごとに導出された学習結果の平均を算出した後、この学習結果の平均を用いて各パラメータを更新させて、次のミニバッチの処理を開始するが、パイプライン並列とデータ並列とを併用する場合には、ミニバッチによる学習結果の平均処理とパラメータの更新処理との間に、ネットワークを介して通信可能に接続された他の計算機との間でＡｌｌｒｅｄｕｃｅ処理が実行される。
Huang, Yanping, et al. "Gpipe: Efficient training of giant neural networks using pipeline parallelism." arXiv preprint arXiv:1811.06965 (2018)
　しかしながら、アクセラレータの数に対してＮＩＣの数が少ない場合には、学習結果が一挙にＮＩＣに到来するために輻輳が発生し、Ａｌｌｒｅｄｕｃｅ処理が深刻なボトルネックとなってしまう。
　そこで、本発明は、複数のアクセラレータを備えた計算機を用いてより短い時間で分散深層学習を行うことができる計算機、分散深層学習システムおよび方法を提供することを目的とする。
　上記の目的を達成するために、本発明に係る分散処理用計算機（１０－１，１０－２）は、それぞれにニューラルネットワークの一部分が割り付けられ、入力データに基づいて学習結果を導出するとともに、前記学習結果を用いて前記ニューラルネットワークの一部分に含まれるパラメータの値をそれぞれ更新するように構成された、複数のアクセラレータ（１３－１～１３－４）と、それぞれがネットワークを介して前記学習結果を含む学習に関する情報を送受信するように構成された複数のネットワークインターフェース回路（１４－１～１４－４）と、前記複数のアクセラレータおよび前記複数のネットワークインターフェース回路を制御して、前記複数のアクセラレータのそれぞれに入力データに基づいて学習結果を導出させるとともに、前記複数のネットワークインターフェース回路に、前記複数のアクセラレータにそれぞれ導出させた前記学習結果を含む学習に関する情報を並列に送受信させるように構成された、演算処理装置（１２）とを備える。
　また、本発明に係る分散深層学習システムは、ネットワークを介して互いに通信可能に接続された複数の計算機（１０－１，１０－２）を備え、前記複数の計算機のそれぞれは、上記の分散処理用計算機であり、前記複数の計算機のうちの一の計算機の前記複数のネットワークインターフェース回路（１４－１～１４－４））は、前記一の計算機の複数のアクセラレータがそれぞれ導出した複数の学習結果と前記複数の計算機のうちの他の計算機の複数のアクセラレータがそれぞれ導出した複数の学習結果とを並列に送受信し、前記一の計算機の前記複数のアクセラレータ（１３－１～１３－４）は、前記複数のアクセラレータが導出した前記学習結果と、前記複数のネットワークインターフェース回路を介して前記他の計算機から受信した前記複数の学習結果とに基づいて前記パラメータの値を更新する。
　本発明によれば、複数のアクセラレータがそれぞれ導出した学習結果を含む学習に関する情報を複数のネットワークインターフェース回路によって並列に送受信するので、より短い時間で分散深層学習を行うことができる。
図１は、本発明の第１の実施の形態に係る分散深層学習システムの概要を示す図である。 図２は、本発明の第１の実施の形態に係る分散深層学習システムを構成する分散処理用計算機の構成を示す図である。 図３は、ニューラルネットワークと分散処理用計算機との関係を説明するための図である。 図４は、本発明の第１の実施の形態に係る分散深層学習システムを構成する分散処理用計算機の動作を説明するための図である。 図５は、本発明の第１の実施の形態の変形例に係る分散処理用計算機の構成を示す図である。 図６は、本発明の第１の実施の形態の変形例に係る分散処理用計算機の動作を説明するための図である。 図７は、本発明の第２の実施の形態に係る分散処理用計算機の動作の一例を説明するための図である。 図８Ａは、本発明の第３の実施の形態に係る分散処理用計算機の構成を示す図である。 図８Ｂは、本発明の第３の実施の形態に係る分散処理用計算機において用いられるＦＰＧＡ　ＮＩＣの構成を概念的に示す図である。 図９は、本発明の第３の実施の形態に係る分散処理用計算機の動作の一例を説明するための図である。 図１０Ａは、本発明の第４の実施の形態に係る分散処理用計算機の構成を示す図である。 図１０Ｂは、本発明の第４の実施の形態に係る分散処理用計算機において用いられるＦＰＧＡ　ＮＩＣの構成を概念的に示す図である。 図１１は、本発明の第４の実施の形態に係る分散処理用計算機の動作の一例を説明するための図である。 図１２は、従来の分散処理用計算機の構成を示す図である。 図１３は、従来の分散処理用計算機の動作の一例を説明するための図である。
　以下、本発明の実施の形態について図面を参照して説明する。
　［第１の実施の形態］
　［分散深層学習システムおよび分散処理用計算機の構成］
　本発明の第１の実施の形態に係る分散深層学習システムは、互いに通信可能に接続された複数の分散処理用計算機の間でデータを分散させて学習を行うデータ並列深層学習システムである。図１に示すように、分散深層学習システム１は、通信ネットワーク５０を介して互いに通信可能に接続された２台の分散処理用計算機１０－１，１０－２から構成されている。
　分散処理用計算機１０－１，１０－２は、互いに同一のハードウェア構成を有している。図２に示すように、分散処理用計算機１０－１，１０－２は、それぞれ、複数のアクセラレータ１３－１～１３－４と、複数のネットワークインターフェースカード（以下、「ＮＩＣ」という。）１４－１～１４－４と、これらアクセラレータ１３－１～１３－４およびＮＩＣ１４－１～１４－４を制御する中央演算処理装置（以下、「ＣＰＵ」という。）１２を備えている。
　ここで、アクセラレータ１３－１～１３－４としては、例えば、ＧＰＵや、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）、ＤＳＰ（Ｄｉｇｉｔａｌ　Ｓｉｇｎａｌ　Ｐｒｏｃｅｓｓｏｒ）などを用いることができる。
　また、ＮＩＣ１４－１～１４－４は、それぞれ分散処理用計算機１０－１，１０－２を通信ネットワーク５０に接続するためのカード型の拡張装置である。
　なお、図１においては、アクセラレータ１３－１～１３－４とＮＩＣ１４－１～１４－４とは、ＣＰＵ１２を介して接続されているが、これは、ＰＣＩ　Ｅｘｐｒｅｓｓ（ＰＣＩｅ）を用いた接続の例である。この他に、ＣＰＵを介さずにＰＣＩｅスイッチを介してアクセラレータ１３－１～１３－４とＮＩＣ１４－１～１４－４とを接続してもよい。
　分散処理用計算機１０－１，１０－２は、それぞれ、複数の中間層を有する深層ニューラルネットワークをエミュレートする装置である。より具体的には、図３に示すように、深層ニューラルネットワークＤＮＮはレイヤー（層）単位でいくつかに分割されて、複数の層が、分散処理用計算機１０－１，１０－２それぞれのアクセラレータ１３－１～１３－４にそれぞれ割り付けられている。本実施の形態においては、分割された各層が本発明における「ニューラルネットワークの一部分」に相当する。なお、簡単のため、図３においては、分散処理用計算機１０－１，１０－２のＣＰＵ１２は図示されていない。
　複数のＮＩＣ１４－１～１４－４は、それぞれ、複数のアクセラレータ１３－１～１３－４のいずれかと対応づけられている。本実施の形態においては、アクセラレータ１３－１～１３－４と同数のＮＩＣ１４－１～１４－４が設けられ、ＮＩＣ１４－１～１４－４とアクセラレータ１３－１～１３－４とは、互いに１対１に対応づけられている。その結果、深層ニューラルネットワークＤＮＮの各層は、アクセラレータとＮＩＣとの組に割り付けられている。
　［分散深層学習システムおよび分散処理用計算機の動作］
　本実施の形態に係る分散深層学習システムにおいては、データ並列処理のため、分散処理用計算機１０－１，１０－２には、それぞれ異なる入力データが与えられる。
分散処理用計算機１０－１，１０－２のそれぞれにおいては、複数の入力データを含むミニバッチ単位で学習が行われる。本実施の形態においては、分散処理用計算機１０－１，１０－２のそれぞれに、４つの入力データを含むミニバッチが与えられるものとする。
　簡単のため、分散処理用計算機１０－１に着目して、分散処理用計算機１０－１の動作を、図４を参照して説明する。
　まず、分散処理用計算機１０－１にミニバッチを構成する４つの入力データが入力されると、ＣＰＵ１２によって制御されたアクセラレータ１３－１～１３－４は、順次、順伝播処理と逆伝播処理とを行う。より具体的には、アクセラレータ１３－１～１３－４は、まず、入力データのそれぞれに基づいて、順次、順伝播処理をパイプライン並列によって行う（図４「順伝播処理」フェーズ）。順伝播処理は、深層ニューラルネットワークＤＮＮの入力層から順に、入力データに基づく各ニューロンの出力と次の層のニューロンとの間の重みとの積和演算を行う処理であり、層が割り付けられたアクセラレータ１３－１～１３－４によって実行される。本発明における「パラメータ」の一つとして、この重みが挙げられる。
　ミニバッチを構成する入力データのすべてに基づく順伝播処理が終了すると、アクセラレータ１３－１～１３－４は、順次、逆伝播処理をパイプライン並列によって行う（図４「逆伝播処理」フェーズ）。逆伝播処理は、例えば、順伝播処理によって得られた出力の誤差を出力層から入力層に向かって伝播させて、各重みの勾配を求める処理である。
　このようにアクセラレータ１３－１～１３－４は、それぞれ、層ごとに４つの入力データのそれぞれに基づく各重みの勾配を導出すると、層ごとに各重みの勾配の平均を算出し、この平均をミニバッチに基づく学習結果とする（図４「バッチ平均」フェーズ。以下、ミニバッチを単位として、各入力データより導出された学習結果の平均を算出する処理を「ミニバッチ平均」または単に「バッチ平均」ということがある。）。
　なお、各重みの勾配の平均を算出する処理は、アクセラレータ１３－１～１３－４の間で並列に行われる。
　以上のような順伝播処理、逆伝播処理、ミニバッチ平均処理は、他の分散処理用計算機１０－２においても異なる入力データを含むミニバッチに対して行われ、各重みの勾配が求められる。
　分散処理用計算機１０－１，１０－２のそれぞれにおいて、アクセラレータ１３－１～１３－４のそれぞれが学習結果、すなわち層ごとの各重みの勾配の平均を算出すると、各分散処理用計算機のＮＩＣ１４－１～１４－４は、それぞれ、図４に示すように、自装置のアクセラレータ１３－１～１３－４が導出した各層の学習結果を他の分散処理用計算機に送信するとともに、他の分散処理用計算機のアクセラレータ１３－１～１３－４が導出した各層の学習結果をそれぞれ受信して、自装置のアクセラレータ１３－１～１３－４が導出した各層の学習結果と足し合わせて、これを他の計算機に送信する。
より具体的には、複数の分散処理用計算機１０－１，１０－２のそれぞれにおいて、ＣＩＮ１４－１～１４－４は、通信ネットワーク５０を介して他の分散処理用計算機１０－２の対応するＮＩＣ、すなわち深層ニューラルネットワークＤＮＮの層ごとに互いに対応づけられたＮＩＣと通信を行い、層ごとに導出された学習に関する情報、すなわち各層の各重みの平均を送受信することによって、分散処理用計算機１０－１，１０－２においてそれぞれ導出された学習結果、すなわち、各重みの平均を共有する（図４「通信」フェーズ）。このようにＮＩＣ１４－１～１４－４によって学習結果を共有する処理は、データ並列分散深層学習におけるＡｌｌｒｅｄｕｃｅ処理に他ならない。
　複数のアクセラレータ１３－１～１３－４のそれぞれは、ＮＩＣ１４－１～１４－４のそれぞれを介して共有された学習結果、すなわち、各重みの勾配を用いて、深層ニューラルネットワークＤＮＮの各層に含まれる各重みをそれぞれ更新する（図４、「更新」フェーズ）。
　各重みが更新されたら、分散処理用計算機１０－１，１０－２にはそれぞれ、新たなミニバッチが与えられ、この新たなミニバッチに含まれる入力データに基づいて上述した処理を行って各重みを更新する。このような学習処理を、入力データの数に応じて所定の回数、または各重みの勾配が所定の値よりも小さくなるまで繰り返す。
　［第１の実施の形態の効果］
　本実施の形態に係る分散深層学習システム１に用いられる分散処理用計算機１０－１，１０－２が、それぞれ、複数のＮＩＣ１４－１～１４－４を備えているので、分散処理用計算機１０－１，１０－２間の通信をデバイスレベルで並列して実行することができ、オーバヘッドが少なくなる。したがって、分散処理用計算機１０－１，１０－２間で学習結果を共有する際に輻輳が発生することを回避することができ、深層ニューラルネットワークのより高速な学習が可能となる。
　なお、本実施の形態においては、分散深層学習システム１が２台の分散処理用計算機１０－１，１０－２から構成される場合を例に説明したが、分散処理用計算機は２台に限定されることはなく、３台以上の分散処理用計算機から構成するようにしてもよい。この場合、複数の分散処理用計算機を含む通信ネットワーク５０は、リング型ネットワークを構成してもよいし、スター型ネットワークを構成してもよい。
　また、本実施の形態においては、ＮＩＣ１４－１～１４－４とアクセラレータ１３－１～１３－４とは互いに１対１に対応づけられていると説明したが、本発明においては、ＮＩＣ１４－１～１４－４とアクセラレータ１３－１～１３－４とは必ずしも同数でなくてもよい。すなわち、アクセラレータとＮＩＣの比率は、輻輳が発生しない程度とすればよく、例えば、複数のＮＩＣのひとつに複数のアクセラレータを対応づけてもよい。
　また、本実施の形態においては、深層ニューラルネットワークＤＮＮが４層として、分散処理用計算機１０－１，１０－２がそれぞれ４個のアクセラレータを備える態様を例に説明したが、アクセラレータの数は、深層ニューラルネットワークＤＮＮを構成する層の数やそれらの分割の仕方に応じて決められる。
　また、分散処理用計算機１０－１，１０－２のそれぞれに与えられるミニバッチは、４つの入力データを含む場合を例にパイプライン並列処理を説明したが、ミニバッチのサイズは、任意に定めることができ、４に限定されない。
　［第１の実施の形態の変形例］
　上述した第１の実施の形態の変形例に係る分散処理用計算機２０－１（２０－２）は、図５に示すように、ＣＰＵ１２および複数のアクセラレータ１３－１～１３－４を含むことは、上述した第１の実施の形態に係る分散処理用計算機１０－１（１０－２）と共通するが、第１の実施の形態に係る分散処理用計算機１０－１（１０－２）におけるＮＩＣ１４－１～１４－４に代えて、ＦＰＧＡ　ＮＩＣ２４－１～２４－４を備えている。これらＦＰＧＡ　ＮＩＣ２４－１～２４－４には、それぞれＡｌｌｒｅｄｕｃｅ処理を実行する回路が搭載されている。ここで「Ａｌｌｒｅｄｕｃｅを実行する回路」とは、自装置の対応するアクセラレータ１３－１～１３－４から受け取った学習結果を他の分散処理用計算機の対応するＦＰＧＡ　ＮＩＣに送信するとともに、すべての計算機のＦＰＧＡ　ＮＩＣを足し合わせ、その結果をすべてのＦＰＧＡ　ＮＩＣに分配する機能を実現する回路を言う。
　このような分散処理用計算機２０－１（２０－２）の動作は、図６に示すように、第１の実施の形態に係る分散処理用計算機１０－１（１０－２）と同じく、順伝播処理フェーズ、逆伝播処理フェーズ、バッチ平均フェーズ、通信フェーズ、更新フェーズの順となる。しかし、第１の実施の形態に係る分散処理用計算機１０－１（１０－２）においては、Ａｌｌｒｅｄｕｃｅ処理の足し算はアクセラレータ１３－１～１３－４内で実行されるため、計算カーネルと通信カーネルとが交互に実行されることとなるのに対し、この変形例に係る分散処理用計算機２０－１（２０－２）では、この変形例に係る分散処理用計算機２０－１（２０－２）では、Ａｌｌｒｅｄｕｃｅ処理がＦＰＧＡ　ＮＩＣ２４－１～２４－４においてそれぞれ行われるので、Ａｌｌｒｅｄｕｃｅの実行を命じるだけで良い。
　したがって、第１の実施の形態に係る分散処理用計算機１０－１（１０－２）においては、計算カーネルと通信カーネルが交互に実行された場合オーバヘッドが発生するが、第１の実施の形態に係る分散処理用計算機１０－１（１０－２）においては、カーネル切り替えのオーバヘッドが発生しないため、通信時間がより短くなる。
［第２の実施の形態］
　第２の実施の形態に係る分散処理用計算機は、図５に示した第１の実施の形態の変形例に係る分散処理用計算機２０－１（２０－２）と同じく、ＣＰＵと、複数のアクセラレータと、複数のＦＰＧＡ　ＮＩＣとを備えている。複数のＦＰＧＡ　ＮＩＣには、それぞれ、上述した第１の実施の形態の変形例と同様に、Ａｌｌｒｅｄｕｃｅ処理を実行する回路が搭載されている。
　図７を参照して、第２の実施の形態に係る分散処理用計算機の動作を説明する。
　例えば、第１の実施の形態に係る分散処理用計算機１０－１（１０－２）や、その変形例に係る分散処理用計算機２０－１（２０－２）においては、それぞれ図３や図６に示すように、ミニバッチに含まれる入力データのそれぞれに基づいて順伝播処理と逆伝播処理とを行い、各データの学習結果をミニバッチ平均した後に、他の分散処理用計算機との通信を伴うＡｌｌｒｅｄｕｃｅ処理を行うのに対し、この第２の実施の形態に係る分散処理用計算機においては、図７に示すように、入力データそれぞれに基づく逆伝播計算が終了するたびに、すぐに計算機間での通信を伴うＡｌｌｒｅｄｕｃｅ処理を実行し、その後ミニバッチ平均処理を行い、パラメータの値（重み）を更新する。これを換言するならば、第２の実施の形態に係る分散処理用計算機においては、逆伝播処理とＡｌｌｒｅｄｕｃｅ処理とをオーバーラップさせ、入力データごとにパイプライン処理される。したがって、アクセラレータは、それぞれ、入力データのそれぞれに基づいて導出され、かつ、Ａｌｌｒｅｄｕｃｅ処理が行われた、複数の学習結果に対して、それらの平均を算出する。
　第１の実施の形態に係る分散処理用計算機１０－１（１０－２）においては、計算カーネルと通信カーネルとが交互に実行された場合にオーバヘッドが発生する。さらに、第１の実施の形態に係る分散処理用計算機１０－１（１０－２）においては、アクセラレータ１３－１～１３－４がミニバッチ平均した後に、データがＮＩＣ１４－１～１４－４にそれぞれ送られてＡｌｌｒｅｄｕｃｅ処理が実行され、その後に再度アクセラレータに送られ更新されるので、データの移動時間が陽に存在する。
　これに対し、第２の実施の形態に係る分散処理用計算機によれば、カーネル切り替えのオーバヘッドが発生しないため、通信時間がより短くなる。また、第２の実施の形態に係る分散処理用計算機では、アクセラレータからＦＰＧＡ　ＮＩＣにデータを転送する時間が逆伝播処理に隠蔽されるため、学習がより短時間になる。
［第３の実施の形態］
　第３の実施の形態に係る分散処理用計算機は、図８Ａに示すように、ＣＰＵ１２と、複数のアクセラレータ１３－１～１３－４と、複数のＦＰＧＡ　ＮＩＣ３４－１～３４－４とを備えている。複数のＦＰＧＡ　ＮＩＣ３４－１～３４－４には、それぞれ、図８Ｂに示すように、ＮＩＣとともに、順伝播処理回路と、逆伝播処理回路の一部または全てが搭載されている。
　仮にＦＰＧＡ　ＮＩＣ３４－１～３４－４が、それぞれ、ＮＩＣとともに順伝播処理回路と逆伝播処理回路の全てを実装していた場合（以下、「ケース１」という。）は、図９に示すように、順伝播処理フェーズと逆伝播処理フェーズの双方において、アクセラレータ１３－１～１３－４とＦＰＧＡ　ＮＩＣ３４－１～３４－４とが、それぞれミニバッチに含まれる異なる入力データを処理することができる。
　また、ＦＰＧＡ　ＮＩＣ３４－１～３４－４が、それぞれ、ＮＩＣとともに順伝播処理回路と逆伝播処理の一部とを搭載している場合（以下、「ケース２」という。）は、順伝播処理フェーズでは、アクセラレータ１３－１～１３－４とＦＰＧＡ　ＮＩＣ３４－１～３４－４とが、それぞれミニバッチに含まれる異なる入力データを処理し、逆伝播処理フェーズでは、アクセラレータ１３－１～１３－４がそれぞれ逆伝播処理の途中まで計算した後、対応するＦＰＧＡ　ＮＩＣ３４－１～３４－４に計算を引き継ぎ、アクセラレータ１３－１～１３－４またはＦＰＧＡ　ＮＩＣ３４－１～３４－４でミニバッチ平均を行い、Ａｌｌｒｅｄｕｃｅ処理のための通信を行う。
　また、ＦＰＧＡ　ＮＩＣ３４－１～３４－４が、それぞれ、ＮＩＣとともに順伝播処理回路と逆伝播処理回路のうち順伝播処理回路のみを持つ場合（以下、「ケース３」という。）は、順伝播処理フェーズでは、アクセラレータ１３－１～１３－４とＦＰＧＡ　ＮＩＣ３４－１～３４－４とが、それぞれミニバッチに含まれる異なるデータを処理し、逆伝播処理フェーズでは、逆伝播に必要な途中計算をアクセラレータ１３－１～１３－４は保持せず、ＦＰＧＡ　ＮＩＣ３４－１～３４－４がそれぞれ都度再計算を行って逆伝播処理を実行する。
　上記のケース１～３のいずれの場合も、ＦＰＧＡ　ＮＩＣ３４－１～３４－４は、従来のノイマン型アクセラレータとは異なり、処理をハードウェア実装するので、より高速に学習を行うことができる。
　また、上記ケース１の場合には、順伝播処理と逆伝播処理とをアクセラレータ１３－１～１３－４とＦＰＧＡ　ＮＩＣのデータのスループットが倍になる。
　また、上記ケース２の場合には、順伝播のスループットが倍になり、逆伝播もＦＰＧＡが実行する分だけ高速になる。また、ミニバッチ平均をＦＰＧＡで実行する場合にはデータ移動が軽減されるので、その分のオーバヘッドが削減される。
　また、上記ケース３の場合には、順伝播のスループットが倍になり、アクセラレータは途中計算を廃棄できるので、アクセラレータのデバイスメモリをより有効活用できるようになる。
［第４の実施の形態］
　第４の実施の形態に係る分散処理用計算機４０－１（４０－２）は、図１０Ａに示すように、ＣＰＵ１２と、複数のアクセラレータ１３－１～１３－４と、複数のＦＰＧＡ　ＮＩＣ４４－１～４４－４とを備えている。
　ＦＰＧＡ　ＮＩＣ４４－１～４４－４は、図１０Ｂに示すように、それぞれ、ＮＩＣとともに順伝播処理回路を備えている。
　第４の実施の形態に係る分散処理用計算機４０－１（４０－２）は、図１１に示すように、順伝播処理フェーズでは、ＦＰＧＡ　ＮＩＣ４４－１～４４－４に搭載された順伝播処理回路によって、ミニバッチに含まれる複数の入力データに基づいて順次、順伝播処理を行い、順伝播の処理中に逆伝播を開始し、また、逆伝播の処理中に通信を開始する。
　より具体的には、深層ニューラルネットワークＤＮＮの出力層である第４層が割り付けられた（図３参照）ＦＰＧＡ　ＮＩＣ４４－４がミニバッチに含まれる入力データに基づく順伝播処理Ｆ41～Ｆ44を順次終了させ次第、アクセラレータ１３－４が逆伝播処理Ｂ41～Ｂ44を順次行う。これによって、順伝播と逆伝播とをオーバーラップさせる。さらに、ＦＰＧＡ　ＮＩＣ４４－１～４４－４が、それぞれ、順伝播処理に引き続いて、他の分散処理用計算機との間で通信を順次開始する。これによって、逆伝播と通信とをオーバーラップさせる。
　このように順伝播と逆伝播とのオーバーラップ、および逆伝播と通信とのオーバーラップにより、処理時間をさらに短縮することができる。
　以上、説明したように、本発明の実施の形態に係る分散処理用計算機からなる深層学習システムによれば、複数のアクセラレータがそれぞれ導出した学習結果を含む学習に関する情報を複数のネットワークインターフェース回路によって並列に送受信するので、より短い時間で分散深層学習を行うことができる。
　本発明は、深層学習システムに利用することができる。
　１…分散深層学習システム、１０－１，１０－２,２０－１，３０－１,４０－１…分散処理用計算機、１２…ＣＰＵ、１３－１～１３－４…アクセラレータ、１４－１～１４－４…ＮＩＣ、２４－１～２４－４，３４－１～３４－４，４４－１～４４－４…ＦＰＧＡ　ＮＩＣ。

Claims (8)

  1. 　それぞれにニューラルネットワークの一部分が割り付けられ、入力データに基づいて学習結果を導出するとともに、前記学習結果を用いて前記ニューラルネットワークの一部分に含まれるパラメータの値をそれぞれ更新するように構成された、複数のアクセラレータと、
    　それぞれが前記学習結果を含む学習に関する情報を送受信するように構成された複数のネットワークインターフェース回路と、
    　前記複数のアクセラレータおよび前記複数のネットワークインターフェース回路を制御して、前記複数のアクセラレータのそれぞれに入力データに基づいて学習結果を導出させるとともに、前記複数のネットワークインターフェース回路に、前記複数のアクセラレータにそれぞれ導出させた前記学習結果を含む学習に関する情報を並列に送受信させるように構成された、演算処理装置と
    を備える分散処理用計算機。
  2. 　請求項１に記載された分散処理用計算機において、
    　前記複数のアクセラレータには、前記ニューラルネットワークの一部分として、前記ニューラルネットワークを構成する複数の層がそれぞれ割り付けられ、
    　前記複数のアクセラレータは、前記複数の層ごとに順伝播処理と逆伝播処理とを実行する、
    分散処理用計算機。
  3. 　請求項１または２に記載された分散処理用計算機において、
    　前記複数のネットワークインターフェース回路は、
    　前記複数のアクセラレータが前記学習結果を導出すると、前記学習結果を含む学習に関する情報を並列に送受信する、分散処理用計算機。
  4. 　請求項３に記載された分散処理用計算機において、
    　前記複数のアクセラレータは、
    複数の入力データを含むミニバッチに対して、前記複数の入力データのそれぞれに基づく順伝播処理と逆伝播処理とをパイプラインで行って前記複数の入力データのそれぞれに基づいて複数の学習結果を導出し、導出された前記複数の学習結果の平均を前記ミニバッチに基づく学習結果として算出し、
    　前記複数のネットワークインターフェース回路は、
    　前記複数のアクセラレータが前記複数の入力データに基づいて複数の学習結果を算出すると、前記複数の学習結果を含む学習に関する情報を並列に送受信する、分散処理用計算機。
  5. 　請求項３に記載された分散処理用計算機において、
    　前記複数のアクセラレータは、
    複数の入力データを含むミニバッチに対して、前記複数の入力データのそれぞれに基づく順伝播処理と逆伝播処理とをパイプラインで行って前記複数の入力データのそれぞれに基づいて複数の学習結果を導出し、
    　前記複数のネットワークインターフェース回路は、
    　前記複数のアクセラレータが前記ミニバッチに含まれる前記複数の入力データに基づく複数の学習結果を導出するごとに前記学習結果を含む学習に関する情報を並列に送受信する、分散処理用計算機。
  6. 　請求項３に記載された分散処理用計算機において、
    　前記複数のアクセラレータは、
    複数の入力データを含むミニバッチに対して、前記複数の入力データのそれぞれに基づく順伝播処理と逆伝播処理とをパイプラインで行って前記複数の入力データのそれぞれに基づいて複数の学習結果を導出し、
    　前記複数のネットワークインターフェース回路は、
    　前記複数のアクセラレータが前記ミニバッチに含まれる前記複数の入力データに基づく複数の学習結果を導出するごとに、前記逆伝播処理とオーバーラップさせて前記学習結果を含む学習に関する情報を順次に送受信する、分散処理用計算機。
  7. 　請求項１～６のいずれか一項に記載された分散処理用計算機において、
    　前記複数のネットワークインターフェース回路は、前記複数のアクセラレータと同数設けられている、分散処理用計算機。
  8. 　互いに通信可能に接続された複数の計算機を備え、
    　前記複数の計算機のそれぞれは、請求項１～７のいずれか一項に記載された分散処理用計算機であり、
    前記複数の計算機のうちの一の計算機の前記複数のネットワークインターフェース回路は、前記一の計算機の複数のアクセラレータがそれぞれ導出した複数の学習結果と前記複数の計算機のうちの他の計算機の複数のアクセラレータがそれぞれ導出した複数の学習結果とを並列に送受信し、
    前記一の計算機の前記複数のアクセラレータは、前記複数のアクセラレータが導出した前記学習結果と、前記複数のネットワークインターフェース回路を介して前記他の計算機から受信した前記複数の学習結果とに基づいて前記パラメータの値を更新する、分散深層学習システム。
PCT/JP2019/046966 2019-12-02 2019-12-02 分散処理用計算機および分散深層学習システム Ceased WO2021111490A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2021562204A JP7283576B2 (ja) 2019-12-02 2019-12-02 分散処理用計算機および分散深層学習システム
US17/777,217 US12450481B2 (en) 2019-12-02 2019-12-02 Distributed processing computer and distributed deep learning system
PCT/JP2019/046966 WO2021111490A1 (ja) 2019-12-02 2019-12-02 分散処理用計算機および分散深層学習システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/046966 WO2021111490A1 (ja) 2019-12-02 2019-12-02 分散処理用計算機および分散深層学習システム

Publications (1)

Publication Number Publication Date
WO2021111490A1 true WO2021111490A1 (ja) 2021-06-10

Family

ID=76221494

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/046966 Ceased WO2021111490A1 (ja) 2019-12-02 2019-12-02 分散処理用計算機および分散深層学習システム

Country Status (3)

Country Link
US (1) US12450481B2 (ja)
JP (1) JP7283576B2 (ja)
WO (1) WO2021111490A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12101103B2 (en) 2022-02-18 2024-09-24 Fujitsu Limited Information processing device and information processing method

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11315013B2 (en) * 2018-04-23 2022-04-26 EMC IP Holding Company LLC Implementing parameter server in networking infrastructure for high-performance computing
JP2020077300A (ja) * 2018-11-09 2020-05-21 日本電信電話株式会社 分散深層学習システムおよびデータ転送方法
JP7248110B2 (ja) * 2019-05-31 2023-03-29 日本電信電話株式会社 分散深層学習システム
US20210103820A1 (en) * 2019-10-03 2021-04-08 Vathys, Inc. Pipelined backpropagation with minibatch emulation
JP7287492B2 (ja) * 2019-11-13 2023-06-06 日本電信電話株式会社 分散深層学習システムおよびデータ転送方法
WO2021095196A1 (ja) * 2019-11-14 2021-05-20 日本電信電話株式会社 分散深層学習システムおよび分散深層学習方法
KR20220033713A (ko) * 2020-09-10 2022-03-17 에스케이하이닉스 주식회사 데이터 처리 시스템 및 그 동작 방법

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
HONDA, TAKUMI ET AL: ".Acceleration of ResNet-50/ImageNet Learning inLarge-scale GPU Clusters", IPSJ SIG TECHNICALREPORT. *
HUANG, YANPING ET AL., EFFICIENT TRAINING OF GIANT NEURAL NETWORKS USING PIPELINE PARALLELISM, 16 November 2018 (2018-11-16), XP055730504, Retrieved from the Internet <URL:https://arxiv.org/abs/1811.06965vl> [retrieved on 20200805] *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12101103B2 (en) 2022-02-18 2024-09-24 Fujitsu Limited Information processing device and information processing method

Also Published As

Publication number Publication date
US12450481B2 (en) 2025-10-21
US20220391701A1 (en) 2022-12-08
JP7283576B2 (ja) 2023-05-30
JPWO2021111490A1 (ja) 2021-06-10

Similar Documents

Publication Publication Date Title
CN113435682B (zh) 分布式训练的梯度压缩
US10482380B2 (en) Conditional parallel processing in fully-connected neural networks
US10891544B2 (en) Event-driven universal neural network circuit
US20190370655A1 (en) Unsupervised, supervised and reinforced learning via spiking computation
CN110033086B (zh) 用于神经网络卷积运算的硬件加速器
US20180322384A1 (en) Post synaptic potential-based learning rule
CN113469355B (zh) 分布式系统中的多模型训练管道
US20210304008A1 (en) Speculative training using partial gradients update
US11886934B2 (en) Control of data transfer between processing nodes
WO2018060840A1 (en) Scalable stream synaptic supercomputer for extreme throughput neural networks
CN114281535A (zh) 一种dnn分区方法及采用该方法的边缘计算架构和存储介质
JP7283576B2 (ja) 分散処理用計算機および分散深層学習システム
US20190130276A1 (en) Tensor manipulation within a neural network
Fang et al. Improved multiverse optimization algorithm for fuzzy flexible job-shop scheduling problem
US20230409982A1 (en) Artificial neural network emulation of hotspots
US12518167B1 (en) Neural network training in a distributed system
KR102090109B1 (ko) 학습 및 추론 장치 및 그 방법
US20210142153A1 (en) Resistive processing unit scalable execution
CN117321573A (zh) 在神经网络计算区块上高效分配存储器
WO2025251704A1 (zh) 一种模型训练方法及装置
CN120952101A (zh) 一种模型训练方法及装置
Dytckov et al. Efficient STDP micro-architecture for silicon spiking neural networks
Sumarudin et al. Transfer Learning Mechanism for Fast Learning of DQN Algorithm in Dynamic Maze Environment
Ganghas Optimizing Large-Scale Spiking Neural Network Simulations Using GPUs
Hu et al. TOPO-X: Co-optimize Flow Scheduling, Topology, and ML Training Parallelism

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19955018

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021562204

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19955018

Country of ref document: EP

Kind code of ref document: A1

WWG Wipo information: grant in national office

Ref document number: 17777217

Country of ref document: US