KR102425039B1 - Apparatus and method for compressing data in distributed deep-learning environment - Google Patents

Apparatus and method for compressing data in distributed deep-learning environment Download PDF

Info

Publication number
KR102425039B1
KR102425039B1 KR1020190022991A KR20190022991A KR102425039B1 KR 102425039 B1 KR102425039 B1 KR 102425039B1 KR 1020190022991 A KR1020190022991 A KR 1020190022991A KR 20190022991 A KR20190022991 A KR 20190022991A KR 102425039 B1 KR102425039 B1 KR 102425039B1
Authority
KR
South Korea
Prior art keywords
parameter update
update information
information
central server
matrix
Prior art date
Application number
KR1020190022991A
Other languages
Korean (ko)
Other versions
KR20200104959A (en
Inventor
김상묵
김성윤
윤세영
Original Assignee
한국전력공사
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전력공사, 한국과학기술원 filed Critical 한국전력공사
Priority to KR1020190022991A priority Critical patent/KR102425039B1/en
Publication of KR20200104959A publication Critical patent/KR20200104959A/en
Application granted granted Critical
Publication of KR102425039B1 publication Critical patent/KR102425039B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G06F16/174—Redundancy elimination performed by the file system
    • G06F16/1744—Redundancy elimination performed by the file system using compression, e.g. sparse files
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Abstract

본 발명은 분산 딥러닝 환경에서 데이터 압축 장치에 관한 것으로, 통신으로 연결된 복수의 작업 장치가 각기 동일한 랜덤 매트릭스(R)를 생성할 수 있도록 하는 랜덤 씨드를 상기 각 작업 장치들에게 전송하는 중앙 서버; 및 내부적으로 자신에게 할당된 데이터를 가지고 파라미터 업데이트 정보를 생성하고, 상기 랜덤 씨드를 이용해 생성한 랜덤 매트릭스(R)를 이용하여 상기 파라미터 업데이트 정보를 각기 압축하며, 상기 압축한 파라미터 업데이트 정보를 각기 중앙 서버에 전송하는 상기 복수의 작업 장치;를 포함한다.The present invention relates to a data compression apparatus in a distributed deep learning environment, comprising: a central server for transmitting a random seed to each of a plurality of work units connected by communication to generate the same random matrix (R) to each of the work units; and internally generating parameter update information with data allocated thereto, compressing the parameter update information using a random matrix R generated using the random seed, and centralizing the compressed parameter update information. It includes; the plurality of work devices to be transmitted to the server.

Description

분산 딥러닝 환경에서 데이터 압축 장치 및 방법{APPARATUS AND METHOD FOR COMPRESSING DATA IN DISTRIBUTED DEEP-LEARNING ENVIRONMENT} Apparatus and method for data compression in a distributed deep learning environment

본 발명은 분산 딥러닝 환경에서 데이터 압축 장치 및 방법에 관한 것으로, 보다 상세하게는 전력량 예측을 위한 분산 딥러닝(deep learning) 환경에서 전송되는 데이터를 압축하여 전송 정보량(또는 전송 데이터량)을 감소시킬 수 있도록 하는, 분산 딥러닝 환경에서 데이터 압축 장치 및 방법에 관한 것이다.The present invention relates to an apparatus and method for data compression in a distributed deep learning environment, and more particularly, by compressing data transmitted in a distributed deep learning environment for estimating the amount of power to reduce the amount of transmitted information (or the amount of transmitted data) It relates to an apparatus and method for data compression in a distributed deep learning environment.

일반적으로 기존에는 요청에 따라 새로운 프로세스를 생성하여 병렬적으로 딥러닝 모델을 학습하는 기술이 많았다. In general, there have been many techniques for learning deep learning models in parallel by creating a new process upon request.

그러나 이러한 기존의 기술은 하나의 모델을 빠르게 학습 시키지는 못했다. However, these existing techniques did not quickly train a single model.

또한 기존에 공개된 참고 문헌과 학회지를 참고하면 전송하는 파라미터 업데이트 정보를 적은 비트(bit)를 이용하여 표현함으로써 압축하는 양자화(Quantization) 방법이 있었지만 이는 압축률에 한계가 있었다. Also, referring to previously published references and academic journals, there was a quantization method that compresses transmitted parameter update information by expressing it using a small number of bits, but this has a limitation in the compression rate.

또한 전송되는 정보의 중요한 정보만 전송하는 희소화(Sparsification) 방법은 높은 압축률을 보이지만, 효율적으로 파라미터 업데이트 정보의 송신과 수신을 수행하기 위해서 중앙 서버(예 : 복수의 서버 중 메인 서버)를 사용할 때 취합한 파라미터 업데이트 정보의 양이 커지는 단점이 있었다. In addition, the sparsification method, which transmits only important information of the transmitted information, shows a high compression rate, but when using a central server (eg, the main server among multiple servers) to efficiently transmit and receive parameter update information. There is a disadvantage in that the amount of the collected parameter update information increases.

본 발명은 양자화(Quantization)보다 높은 압축률을 보이면서 중앙 서버를 사용하여 파라미터 업데이트 정보를 취합하더라도 그 전송 정보량(또는 전송 데이터량)이 커지지 않게 하기 위한 정보 압축 기술이 필요한 상황이다.The present invention is a situation in which an information compression technique is required so that the amount of transmitted information (or the amount of transmitted data) does not increase even when parameter update information is collected using a central server while exhibiting a higher compression rate than quantization.

본 발명의 배경기술은 대한민국 공개특허 10-2015-0040894호(2015.04.15.공개, 전력 그리드에 대한 시스템, 방법 및 장치와 그리드 엘리먼트들의 네트워크 관리)에 개시되어 있다. The background technology of the present invention is disclosed in Korean Patent Application Laid-Open No. 10-2015-0040894 (published on April 15, 2015, a system, method and apparatus for a power grid, and network management of grid elements).

본 발명의 일 측면에 따르면, 본 발명은 상기와 같은 문제점을 해결하기 위해 창작된 것으로서, 전력량 예측을 위한 분산 딥러닝(deep learning) 환경에서 전송되는 데이터를 압축하여 전송 정보량을 감소시킬 수 있도록 하는, 분산 딥러닝 환경에서 데이터 압축 장치 및 방법을 제공하는 데 그 목적이 있다. According to one aspect of the present invention, the present invention was created to solve the above problems, and compresses data transmitted in a distributed deep learning environment for estimating the amount of power to reduce the amount of transmitted information. , it aims to provide an apparatus and method for data compression in a distributed deep learning environment.

본 발명의 일 측면에 따른 분산 딥러닝 환경에서 데이터 압축 장치는, 통신으로 연결된 복수의 작업 장치가 각기 동일한 랜덤 매트릭스(R)를 생성할 수 있도록 하는 랜덤 씨드를 상기 각 작업 장치들에게 전송하는 중앙 서버; 및 내부적으로 자신에게 할당된 데이터를 가지고 파라미터 업데이트 정보를 생성하고, 상기 랜덤 씨드를 이용해 생성한 랜덤 매트릭스(R)를 이용하여 상기 파라미터 업데이트 정보를 각기 압축하며, 상기 압축한 파라미터 업데이트 정보를 각기 중앙 서버에 전송하는 상기 복수의 작업 장치;를 포함하는 것을 특징으로 한다.In a distributed deep learning environment according to an aspect of the present invention, a data compression device is a central device that transmits a random seed that enables a plurality of communication-connected working devices to generate the same random matrix (R) to each of the working devices. server; and internally generating parameter update information with data allocated thereto, compressing the parameter update information using a random matrix R generated using the random seed, and centralizing the compressed parameter update information. It characterized in that it comprises; the plurality of work devices to be transmitted to the server.

본 발명에 있어서, 상기 중앙 서버는, 상기 각 작업 장치들이 전송한 상기 압축한 파라미터 업데이트 정보를 취합하여 평균을 산출하고, 상기 산출한 평균 값을 취합정보(

Figure 112019020505804-pat00001
)로서 출력하며, 상기 취합정보(
Figure 112019020505804-pat00002
)를 다시 각 작업 장치들에게 전송하는 것을 특징으로 한다.In the present invention, the central server calculates an average by collecting the compressed parameter update information transmitted by each of the work devices, and collects the calculated average value in aggregate information (
Figure 112019020505804-pat00001
), and the aggregated information (
Figure 112019020505804-pat00002
) is again transmitted to each working device.

본 발명에 있어서, 상기 작업 장치는, 상기 생성한 랜덤 매트릭스(R)의 순서를 기 지정된 순서에 따라 바꾼 트랜스포즈 매트릭스(RT)에 상기 전송받은 취합정보(

Figure 112019020505804-pat00003
)를 곱하여 파라미터 업데이트 정보의 압축을 해제하고, 상기 압축을 해제한 각 파라미터 업데이트 정보(
Figure 112019020505804-pat00004
)를 이용하여 각기 파라미터의 업데이트를 수행하는 것을 특징으로 한다.In the present invention, the working device, the transmitted aggregate information (
Figure 112019020505804-pat00003
) to decompress the parameter update information, and each decompressed parameter update information (
Figure 112019020505804-pat00004
) to update each parameter.

본 발명의 다른 측면에 따른 분산 딥러닝 환경에서 데이터 압축 방법은, 중앙 서버가 통신으로 연결된 복수의 작업 장치들이 동일한 랜덤 매트릭스(R)를 생성할 수 있도록 하는, 랜덤 씨드를 각 작업 장치들에게 전송하는 단계; 상기 각 작업 장치들이 내부적으로 자신에게 할당된 데이터를 가지고 파라미터 업데이트 정보를 생성하는 단계; 상기 각 작업 장치들이 상기 랜덤 씨드를 이용해 생성한 랜덤 매트릭스(R)를 이용하여 상기 파라미터 업데이트 정보를 압축하는 단계; 및 상기 각 작업 장치들이 상기 압축한 파라미터 업데이트 정보를 중앙 서버에 전송하는 단계;를 포함하는 것을 특징으로 한다.In a data compression method in a distributed deep learning environment according to another aspect of the present invention, a central server transmits a random seed to each working device so that a plurality of working devices connected by communication can generate the same random matrix (R) to do; generating, by the respective working devices, parameter update information with data internally assigned to them; compressing the parameter update information using a random matrix (R) generated by the respective working devices using the random seed; and transmitting, by the respective working devices, the compressed parameter update information to a central server.

본 발명은, 상기 중앙 서버가 상기 각 작업 장치들이 전송한 상기 압축한 파라미터 업데이트 정보를 취합하는 단계; 상기 중앙 서버가 취합한 상기 압축한 파라미터 업데이트 정보의 평균을 취합정보(

Figure 112019020505804-pat00005
)로서 산출하는 단계; 및 상기 중앙 서버가 상기 압축한 파라미터 업데이트 정보의 평균을 산출한 취합정보(
Figure 112019020505804-pat00006
)를 다시 각 작업 장치들에게 전송하는 단계;를 더 포함하는 것을 특징으로 한다.The present invention comprises the steps of: collecting, by the central server, the compressed parameter update information transmitted by each of the working devices; The average of the compressed parameter update information collected by the central server is aggregated information (
Figure 112019020505804-pat00005
) to calculate as; and aggregate information obtained by calculating the average of the parameter update information compressed by the central server (
Figure 112019020505804-pat00006
) again to each of the working devices; characterized in that it further comprises.

본 발명은, 상기 각 작업 장치들이 랜덤 매트릭스(R)의 순서를 기 지정된 순서에 따라 바꾼 트랜스포즈 매트릭스(RT)에 상기 전송받은 취합정보(

Figure 112019020505804-pat00007
)를 곱하여 파라미터 업데이트 정보의 압축을 해제하는 단계; 및 상기 각 작업 장치이 상기 압축을 해제한 파라미터 업데이트 정보(
Figure 112019020505804-pat00008
)를 이용하여 각기 파라미터의 업데이트를 수행하는 단계;를 더 포함하는 것을 특징으로 한다.In the present invention, the received aggregate information (
Figure 112019020505804-pat00007
) to decompress the parameter update information; and parameter update information (
Figure 112019020505804-pat00008
) to perform each parameter update using;

본 발명의 일 측면에 따르면, 본 발명은 전력량 예측을 위한 분산 딥러닝(deep learning) 환경에서 전송되는 데이터를 압축하여 전송 정보량을 감소시킬 수 있도록 한다. 또한 본 발명은 양자화(Quantization)보다 높은 데이터 압축률을 보이면서 중앙 서버를 사용하여 파라미터 업데이트 정보를 취합하더라도 그 전송 정보량이 커지지 않도록 한다.According to an aspect of the present invention, the present invention compresses data transmitted in a distributed deep learning environment for estimating the amount of power to reduce the amount of transmitted information. In addition, the present invention shows a data compression rate higher than that of quantization and prevents the amount of transmitted information from increasing even when parameter update information is collected using a central server.

도 1은 본 발명의 제1 실시예에 따른 분산 딥러닝 환경에서 데이터 압축 방법을 설명하기 위한 데이터 압축 장치의 개략적인 구성을 보인 예시도.
도 2는 본 발명의 제2 실시예에 따른 분산 딥러닝 환경에서 데이터 압축 방법을 설명하기 위한 데이터 압축 장치의 개략적인 구성을 보인 예시도.
도 3은 본 발명의 제3 실시예에 따른 분산 딥러닝 환경에서 데이터 압축 방법을 설명하기 위한 데이터 압축 장치의 개략적인 구성을 보인 예시도.1 is an exemplary diagram showing a schematic configuration of a data compression apparatus for explaining a data compression method in a distributed deep learning environment according to a first embodiment of the present invention.
2 is an exemplary diagram showing a schematic configuration of a data compression apparatus for explaining a data compression method in a distributed deep learning environment according to a second embodiment of the present invention.
3 is an exemplary diagram showing a schematic configuration of a data compression apparatus for explaining a data compression method in a distributed deep learning environment according to a third embodiment of the present invention.

이하, 첨부된 도면을 참조하여 본 발명에 따른 분산 딥러닝 환경에서 정보 압축 장치 및 방법의 일 실시예를 설명한다. Hereinafter, an embodiment of an information compression apparatus and method in a distributed deep learning environment according to the present invention will be described with reference to the accompanying drawings.

이 과정에서 도면에 도시된 선들의 두께나 구성요소의 크기 등은 설명의 명료성과 편의상 과장되게 도시되어 있을 수 있다. 또한, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례에 따라 달라질 수 있다. 그러므로 이러한 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.In this process, the thickness of the lines or the size of the components shown in the drawings may be exaggerated for clarity and convenience of explanation. In addition, the terms to be described later are terms defined in consideration of functions in the present invention, which may vary according to intentions or customs of users and operators. Therefore, definitions of these terms should be made based on the content throughout this specification.

도 1은 본 발명의 제1 실시예에 따른 분산 딥러닝 환경에서 데이터 압축 방법을 설명하기 위한 데이터 압축 장치의 개략적인 구성을 보인 예시도이고, 도 2는 본 발명의 제2 실시예에 따른 분산 딥러닝 환경에서 데이터 압축 방법을 설명하기 위한 데이터 압축 장치의 개략적인 구성을 보인 예시도이며, 도 3은 본 발명의 제3 실시예에 따른 분산 딥러닝 환경에서 데이터 압축 방법을 설명하기 위한 데이터 압축 장치의 개략적인 구성을 보인 예시도이다.1 is an exemplary diagram showing a schematic configuration of a data compression apparatus for explaining a data compression method in a distributed deep learning environment according to a first embodiment of the present invention, and FIG. 2 is a distributed system according to a second embodiment of the present invention. It is an exemplary diagram showing a schematic configuration of a data compression apparatus for explaining a data compression method in a deep learning environment, and FIG. 3 is a data compression method for explaining a data compression method in a distributed deep learning environment according to a third embodiment of the present invention It is an exemplary diagram showing the schematic configuration of the device.

이하 상기 도 1 내지 도 3을 참조하여 중앙 서버(20)와 작업 장치(Worker Machine)(10)를 포함하는 축을 수행하는 데이터 압축 장치에 대해서 설명한다.Hereinafter, a data compression apparatus for performing an axis including a central server 20 and a worker machine 10 will be described with reference to FIGS. 1 to 3 .

본 발명의 일 실시예에 따른 분산 딥러닝 환경에서 데이터 압축 장치는, 통신으로 연결된 복수의 작업 장치(10)들이 동일한 랜덤 매트릭스(Random Matrix)(R)를 생성할 수 있도록 하는, 랜덤 씨드(Random Seed)(21)를 각 작업 장치(10)들에게 전송하는 중앙 서버(20), 및 내부적으로 자신에게 할당된 데이터(예 : D1, D2, D3 등)(50)를 가지고 파라미터 업데이트 정보(예 : G1, G2, GN)(11)를 생성하고, 상기 랜덤 씨드(21)를 이용해 생성한 랜덤 매트릭스(R)(31)를 이용하여 상기 파라미터 업데이트 정보(예 : G1, G2, GN)(11)를 압축하며, 상기 압축한 파라미터 업데이트 정보(예 : G1R, G2R, GNR)(41)를 각기 중앙 서버(20)에 전송하는 복수의 작업 장치(10)들을 포함한다.A data compression apparatus in a distributed deep learning environment according to an embodiment of the present invention enables a plurality of work devices 10 connected by communication to generate the same random matrix (R), a random seed (Random) Seed) 21 to the central server 20 for transmitting to each work device 10, and data (eg, D 1 , D 2 , D 3 , etc.) allocated to itself internally (50) and parameter update Information (eg, G 1 , G 2 , G N ) 11 is generated, and the parameter update information (eg, G 1 ) is generated using the random matrix (R) 31 generated using the random seed 21 . , G 2 , G N ) (11) is compressed, and the compressed parameter update information (eg, G 1 R, G 2 R, G N R) 41 is transmitted to the central server 20, respectively. working devices 10 .

이 때 상기 중앙 서버(20)는 상기 각 작업 장치(10)들이 전송한 상기 압축한 파라미터 업데이트 정보(예 : G1R, G2R, GNR)(41)를 취합하여 평균을 산출하고, 상기 산출한 평균 값(

Figure 112019020505804-pat00009
)을 취합정보(
Figure 112019020505804-pat00010
)(42)로서 출력하며, 상기 취합정보(
Figure 112019020505804-pat00011
)(42)를 다시 각 작업 장치(10)들에게 전송한다.At this time, the central server 20 collects the compressed parameter update information (eg, G 1 R, G 2 R, G N R) 41 transmitted by the respective work devices 10 and calculates an average, , the calculated average value (
Figure 112019020505804-pat00009
) to collect information (
Figure 112019020505804-pat00010
) (42), and the aggregated information (
Figure 112019020505804-pat00011
) (42) is sent back to each of the working devices (10).

이에 따라 상기 각 작업 장치(10)들은 상기 생성한 랜덤 매트릭스(R)(31)의 순서를 기 지정된 순서에 따라 바꾼(Transpose) 트랜스포즈 매트릭스(RT)(32)에 상기 전송받은 취합정보(

Figure 112019020505804-pat00012
)(42)를 곱하여 파라미터 업데이트 정보의 압축을 해제하고, 상기 압축을 해제한 각 파라미터 업데이트 정보(
Figure 112019020505804-pat00013
)(12)를 이용하여 각기 파라미터의 업데이트를 수행한다.Accordingly, each of the work devices 10 transmits the received aggregate information (
Figure 112019020505804-pat00012
) (42) to decompress the parameter update information, and each decompressed parameter update information (
Figure 112019020505804-pat00013
)(12) to update each parameter.

이하 상기 도 1 내지 도 3을 참조하여 중앙 서버(20)와 작업 장치(Worker Machine)(10)간에 데이터 압축을 수행하는 방법을 단계적으로 설명한다.Hereinafter, a method of performing data compression between the central server 20 and the worker machine 10 will be described in stages with reference to FIGS. 1 to 3 .

도 1 내지 도 3에 도시된 바와 같이, 본 발명의 제1~3 실시예에 따른 분산 딥러닝 환경에서 데이터 압축 방법을 설명하기 위한 데이터 압축 장치는, 중앙 서버(20), 및 복수의 작업 장치(Worker Machine)(10)를 포함한다.As shown in Figures 1 to 3, the data compression apparatus for explaining the data compression method in the distributed deep learning environment according to the first to third embodiments of the present invention, the central server 20, and a plurality of work devices (Worker Machine) (10).

상기 중앙 서버(20)는 통신으로 연결된 복수의 작업 장치(10)들이 동일한 랜덤 매트릭스(Random Matrix)(R)를 생성할 수 있도록 하는, 랜덤 씨드(Random Seed)(21)를 각 작업 장치(10)들에게 전송한다(도 1 참조).The central server 20 transmits a random seed 21 to each working device 10, allowing a plurality of communication-connected working devices 10 to generate the same random matrix (R). ) to (see FIG. 1).

상기 각 작업 장치(10)들은 내부적으로 자신에게 할당된 데이터(예 : D1, D2, D3 등)(50)를 가지고 파라미터 업데이트 정보(예 : G1, G2, GN)(11)를 생성한다(도 2 참조).Each of the work devices 10 has data (eg, D 1 , D 2 , D 3 , etc.) 50 internally assigned to it and parameter update information (eg, G 1 , G 2 , G N ) 11 ) (see Figure 2).

또한 상기 각 작업 장치(10)들은 상기 랜덤 씨드(21)를 이용해 생성한 랜덤 매트릭스(R)(31)를 이용하여 상기 파라미터 업데이트 정보(예 : G1, G2, GN)(11)를 압축한다(도 2 참조).In addition, each of the working devices 10 transmits the parameter update information (eg, G 1 , G 2 , G N ) 11 using a random matrix (R) 31 generated using the random seed 21 . Compress (see FIG. 2).

또한 상기 각 작업 장치(10)들은 상기 압축한 파라미터 업데이트 정보(예 : G1R, G2R, GNR)(41)를 중앙 서버(20)에 전송한다(도 2 참조)In addition, each of the work devices 10 transmits the compressed parameter update information (eg, G 1 R, G 2 R, G N R) 41 to the central server 20 (see FIG. 2 ).

이에 상기 중앙 서버(20)는 상기 각 작업 장치(10)들이 전송한 상기 압축한 파라미터 업데이트 정보(예 : G1R, G2R, GNR)(41)를 취합한다(도 2 참조).Accordingly, the central server 20 collects the compressed parameter update information (eg, G 1 R, G 2 R, G N R) 41 transmitted by the respective working devices 10 (see FIG. 2 ). .

또한 상기 중앙 서버(20)는 취합한 상기 압축한 파라미터 업데이트 정보(예 : G1R, G2R, GNR)(41)의 평균을 취합정보(

Figure 112019020505804-pat00014
)(42)로서 산출한다(도 3 참조).In addition, the central server 20 collects the average of the compressed parameter update information (eg, G 1 R, G 2 R, G N R) 41 collected information (
Figure 112019020505804-pat00014
) (42) (refer to Fig. 3).

그리고 상기 중앙 서버(20)는 상기 압축한 파라미터 업데이트 정보(예 : G1R, G2R, GNR)(41)의 평균을 산출한 취합정보(

Figure 112019020505804-pat00015
)(42)를 다시 각 작업 장치(10)들에게 전송한다(도 3 참조).And the central server 20 calculates the average of the compressed parameter update information (eg, G 1 R, G 2 R, G N R) (41) aggregate information (
Figure 112019020505804-pat00015
) (42) is again transmitted to each of the work devices 10 (see FIG. 3).

이에 상기 각 작업 장치(10)들은 상기 생성한 랜덤 매트릭스(R)(31)의 순서를 기 지정된 순서에 따라 바꾼(Transpose) 트랜스포즈 매트릭스(RT)(32)에 상기 전송받은 취합정보(

Figure 112019020505804-pat00016
)(42)를 곱하여 파라미터 업데이트 정보의 압축을 해제한다(도 3 참조).Accordingly, each of the work devices 10 transmits the aggregated information (
Figure 112019020505804-pat00016
) (42) to decompress the parameter update information (see FIG. 3).

또한 상기 각 작업 장치(10)들은 상기 압축을 해제한 파라미터 업데이트 정보(

Figure 112019020505804-pat00017
)(12)를 이용하여 각기 파라미터의 업데이트를 수행한다(도 3 참조).In addition, each of the working devices 10 includes the decompressed parameter update information (
Figure 112019020505804-pat00017
) (12) to update each parameter (refer to FIG. 3).

참고로, 상기 랜덤 매트릭스(Random Matrix)(R)의 모든 요소는

Figure 112019020505804-pat00018
혹은
Figure 112019020505804-pat00019
값을 가지는데, 여기서 상기 k는 랜덤(Random Matrix)(R)의 열의 개수이며, 이렇게 생성된 랜덤 매트릭스(Random Matrix)(R)(31)와 이 랜덤 매트릭스(Random Matrix)의 순서를 기 지정된 순서에 따라 바꾼(Transpose) 트랜스포즈 매트릭스(RT)(32)와의 곱의 기대값(즉,
Figure 112019020505804-pat00020
)이 단위행렬(Identity Matrix)이 되는데, 이 성질을 이용하여 전송할 정보를 압축하고 해제한다. For reference, all elements of the random matrix (R) are
Figure 112019020505804-pat00018
or
Figure 112019020505804-pat00019
has a value, where k is the number of columns of a random matrix (R), and the order of the generated random matrix (R) 31 and the random matrix is predetermined The expected value of the product with the transpose transpose matrix (R T ) (32) (i.e.,
Figure 112019020505804-pat00020
) becomes the identity matrix, and by using this property, the information to be transmitted is compressed and decompressed.

일반적으로 전력량의 예측을 통해서 우리는 보다 안정적이고 효율적인 전력을 제공 전략을 세울 수 있으며, 또한 단기적인 기간뿐만 아니라 중장기 전력 수요 예측을 통해서 전력 시스템을 최적의 상태로 유지할 수 있다. 따라서 전력 수요 예측의 수요는 계속 증가할 것이며, 재귀신경망(RNN : Recurrent Neural Network) 혹은 합성곱신경망(CNN : Convolution Neural Network) 모델과 같은 인공 신경망은 이런 수요 예측 향상에 큰 가능성을 제시할 것이다. In general, by predicting the amount of electricity, we can establish a strategy to provide more stable and efficient electricity, and also maintain the electricity system in an optimal state by forecasting not only short-term but also medium- and long-term electricity demand. Therefore, the demand for electricity demand forecasting will continue to increase, and artificial neural networks such as Recurrent Neural Network (RNN) or Convolution Neural Network (CNN) models will present great potential for improving demand forecasting.

이에 따라 본 실시예에 따른 데이터(또는 정보) 압축 기술은, 파라미터 업데이트 정보의 송신과 수신을 위해서 중앙 서버(20)를 사용할 때 취합한 파라미터 업데이트 정보의 양이 커지지 않도록 함으로써, 상기 인공 신경망을 한층 더 빠르게 학습할 수 있도록 하는 효과가 있다.Accordingly, the data (or information) compression technique according to the present embodiment further enhances the artificial neural network by preventing the amount of parameter update information collected when the central server 20 is used for transmission and reception of parameter update information. It has the effect of allowing you to learn faster.

이상으로 본 발명은 도면에 도시된 실시예를 참고로 하여 설명되었으나, 이는 예시적인 것에 불과하며, 당해 기술이 속하는 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 기술적 보호범위는 아래의 특허청구범위에 의해서 정하여져야 할 것이다. 또한 본 명세서에서 설명된 구현은, 예컨대, 방법 또는 프로세스, 장치, 소프트웨어 프로그램, 데이터 스트림 또는 신호로 구현될 수 있다. 단일 형태의 구현의 맥락에서만 논의(예컨대, 방법으로서만 논의)되었더라도, 논의된 특징의 구현은 또한 다른 형태(예컨대, 장치 또는 프로그램)로도 구현될 수 있다. 장치는 적절한 하드웨어, 소프트웨어 및 펌웨어 등으로 구현될 수 있다. 방법은, 예컨대, 컴퓨터, 마이크로프로세서, 집적 회로 또는 프로그래밍가능한 로직 디바이스 등을 포함하는 프로세싱 디바이스를 일반적으로 지칭하는 프로세서 등과 같은 장치에서 구현될 수 있다. 프로세서는 또한 최종-사용자 사이에 정보의 통신을 용이하게 하는 컴퓨터, 셀 폰, 휴대용/개인용 정보 단말기(personal digital assistant: "PDA") 및 다른 디바이스 등과 같은 통신 디바이스를 포함한다.As described above, the present invention has been described with reference to the embodiments shown in the drawings, but these are merely exemplary, and various modifications and equivalent other embodiments are possible therefrom by those skilled in the art to which the art pertains. will understand the point. Therefore, the technical protection scope of the present invention should be defined by the following claims. Implementations described herein may also be implemented as, for example, a method or process, an apparatus, a software program, a data stream, or a signal. Although discussed only in the context of a single form of implementation (eg, discussed only as a method), implementations of the discussed features may also be implemented in other forms (eg, as an apparatus or a program). The apparatus may be implemented in suitable hardware, software and firmware, and the like. A method may be implemented in an apparatus such as, for example, a processor, which generally refers to a computer, a microprocessor, a processing device, including an integrated circuit or programmable logic device, or the like. Processors also include communication devices such as computers, cell phones, portable/personal digital assistants ("PDAs") and other devices that facilitate communication of information between end-users.

10 : 작업 장치
20 : 중앙 서버10: working device
20: central server

Claims (6)

통신으로 연결된 작업 장치들이 각기 동일한 랜덤 매트릭스(R)를 생성할 수 있도록 하는 랜덤 씨드를 각 작업 장치에 전송하는 중앙 서버; 및
내부적으로 자신에게 할당된 데이터를 가지고 파라미터 업데이트 정보를 생성하고, 상기 랜덤 씨드를 이용해 생성한 랜덤 매트릭스(R)를 이용하여 상기 파라미터 업데이트 정보를 각기 압축하며, 상기 압축한 파라미터 업데이트 정보를 각기 중앙 서버에 전송하는 상기 작업 장치들;을 포함하되,
상기 각 작업 장치는,
상기 생성한 랜덤 매트릭스(R)의 순서를 기 지정된 순서에 따라 바꾼 트랜스 포즈 매트릭스(RT)에 전송받은 취합정보(
Figure 112022030886744-pat00032
)를 곱하여 파라미터 업데이트 정보의 압축을 해제하고, 상기 압축을 해제한 각 파라미터 업데이트 정보(
Figure 112022030886744-pat00033
)를 이용하여 각기 파라미터의 업데이트를 수행하며,
상기 랜덤 매트릭스(R)의 모든 요소는
Figure 112022030886744-pat00034
혹은
Figure 112022030886744-pat00035
값을 가지는데, 상기 k는 랜덤 매트릭스(R)의 열의 개수이며,
상기 각 작업 장치는 생성된 상기 랜덤 매트릭스(R)와 상기 랜덤 매트릭스의 순서를 기 지정된 순서에 따라 바꾼 트랜스포즈 매트릭스(RT)와의 곱의 기대값이 단위행렬이 되는 성질을 이용하여 전송할 정보를 압축하고 해제하는 것을 특징으로 하는 분산 딥러닝 환경에서 데이터 압축 장치.
a central server that transmits a random seed to each working device so that communication-connected working devices can each generate the same random matrix (R); and
Generates parameter update information with internally allocated data, compresses the parameter update information using a random matrix R generated using the random seed, and stores the compressed parameter update information on a central server including; the working devices that transmit to
Each of the working devices is
Collected information (
Figure 112022030886744-pat00032
) to decompress the parameter update information, and each decompressed parameter update information (
Figure 112022030886744-pat00033
) to update each parameter,
All elements of the random matrix (R) are
Figure 112022030886744-pat00034
or
Figure 112022030886744-pat00035
has a value, wherein k is the number of columns of the random matrix (R),
Each of the work devices transmits information to be transmitted using the property that the expected value of the product of the generated random matrix (R) and the transpose matrix (R T ) in which the order of the random matrix is changed according to a predetermined order becomes an identity matrix. A data compression device in a distributed deep learning environment characterized by compression and decompression.
 제 1항에 있어서, 상기 중앙 서버는,
상기 각 작업 장치가 전송한 상기 압축한 파라미터 업데이트 정보를 취합하여 평균을 산출하고, 상기 산출한 평균 값을 취합정보(
Figure 112022030886744-pat00021
)로서 출력하며, 상기 취합정보(
Figure 112022030886744-pat00022
)를 다시 각 작업 장치들에게 전송하는 것을 특징으로 하는 분산 딥러닝 환경에서 데이터 압축 장치.
According to claim 1, wherein the central server,
The compressed parameter update information transmitted by the respective work devices is combined to calculate an average, and the calculated average value is combined with information (
Figure 112022030886744-pat00021
), and the aggregated information (
Figure 112022030886744-pat00022
), a data compression device in a distributed deep learning environment, characterized in that it is transmitted back to each working device.
 삭제delete 중앙 서버가 통신으로 연결된 작업 장치들이 동일한 랜덤 매트릭스(R)를 생성할 수 있도록 하는, 랜덤 씨드를 각 작업 장치에 전송하는 단계;
상기 각 작업 장치가 내부적으로 자신에게 할당된 데이터를 가지고 파라미터 업데이트 정보를 생성하는 단계;
상기 각 작업 장치가 상기 랜덤 씨드를 이용해 생성한 랜덤 매트릭스(R)를 이용하여 상기 파라미터 업데이트 정보를 압축하는 단계; 및
상기 각 작업 장치가 상기 압축한 파라미터 업데이트 정보를 중앙 서버에 전송하는 단계;를 포함하되,
상기 각 작업 장치가 랜덤 매트릭스(R)의 순서를 기 지정된 순서에 따라 바꾼 트랜스포즈 매트릭스(RT)에 전송받은 취합정보(
Figure 112022030886744-pat00036
)를 곱하여 파라미터 업데이트 정보의 압축을 해제하는 단계; 및
상기 각 작업 장치가 상기 압축을 해제한 파라미터 업데이트 정보(
Figure 112022030886744-pat00037
)를 이용하여 각기 파라미터의 업데이트를 수행하는 단계;를 더 포함하며,
상기 랜덤 매트릭스(R)의 모든 요소는
Figure 112022030886744-pat00038
혹은
Figure 112022030886744-pat00039
값을 가지는데, 상기 k는 랜덤 매트릭스(R)의 열의 개수이며,
상기 각 작업 장치는 생성된 랜덤 매트릭스(R)와 상기 랜덤 매트릭스의 순서를 기 지정된 순서에 따라 바꾼 트랜스포즈 매트릭스(RT)와의 곱의 기대값이 단위행렬이 되는 성질을 이용하여 전송할 정보를 압축하고 해제하는 것을 특징으로 하는 분산 딥러닝 환경에서 데이터 압축 방법.
transmitting, by the central server, a random seed to each working device, enabling the communicatively connected working devices to generate the same random matrix (R);
generating, by the respective working devices, parameter update information with data internally assigned to them;
compressing the parameter update information using a random matrix (R) generated using the random seed by each of the working devices; and
Transmitting the compressed parameter update information to a central server by each of the work devices; including,
Collected information (
Figure 112022030886744-pat00036
) to decompress the parameter update information; and
Parameter update information (
Figure 112022030886744-pat00037
) to perform each parameter update using;
All elements of the random matrix (R) are
Figure 112022030886744-pat00038
or
Figure 112022030886744-pat00039
has a value, wherein k is the number of columns of the random matrix (R),
Each of the working devices compresses the information to be transmitted using the property that the expected value of the product of the generated random matrix (R) and the transpose matrix (R T ) in which the order of the random matrix is changed according to a predetermined order becomes an identity matrix. and data compression method in a distributed deep learning environment, characterized in that it is released.
 제 4항에 있어서,
상기 중앙 서버가 상기 각 작업 장치가 전송한 상기 압축한 파라미터 업데이트 정보를 취합하는 단계;
상기 중앙 서버가 취합한 상기 압축한 파라미터 업데이트 정보의 평균을 취합정보(
Figure 112022030886744-pat00025
)로서 산출하는 단계; 및
상기 중앙 서버가 상기 압축한 파라미터 업데이트 정보의 평균을 산출한 취합정보(
Figure 112022030886744-pat00026
)를 다시 각 작업 장치에 전송하는 단계;를 더 포함하는 것을 특징으로 하는 분산 딥러닝 환경에서 데이터 압축 방법.5. The method of claim 4,
collecting, by the central server, the compressed parameter update information transmitted by each of the working devices;
The average of the compressed parameter update information collected by the central server is aggregated information (
Figure 112022030886744-pat00025
) to calculate as; and
Collected information calculated by the central server on the average of the compressed parameter update information (
Figure 112022030886744-pat00026
) back to each work device; Data compression method in a distributed deep learning environment, characterized in that it further comprises. 삭제delete
KR1020190022991A 2019-02-27 2019-02-27 Apparatus and method for compressing data in distributed deep-learning environment KR102425039B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190022991A KR102425039B1 (en) 2019-02-27 2019-02-27 Apparatus and method for compressing data in distributed deep-learning environment

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190022991A KR102425039B1 (en) 2019-02-27 2019-02-27 Apparatus and method for compressing data in distributed deep-learning environment

Publications (2)

Publication Number Publication Date
KR20200104959A KR20200104959A (en) 2020-09-07
KR102425039B1 true KR102425039B1 (en) 2022-07-28

Family

ID=72472068

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190022991A KR102425039B1 (en) 2019-02-27 2019-02-27 Apparatus and method for compressing data in distributed deep-learning environment

Country Status (1)

Country Link
KR (1) KR102425039B1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102390553B1 (en) * 2020-11-24 2022-04-27 한국과학기술원 Federated learning method and system

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010020444A (en) 2008-07-09 2010-01-28 Sony Corp Learning device, learning method, and program
US20150215433A1 (en) * 2012-08-08 2015-07-30 Empire Technology Development Llc Real-time compressive data collection for cloud monitoring
US20150324686A1 (en) 2014-05-12 2015-11-12 Qualcomm Incorporated Distributed model learning
JP2016501398A (en) 2012-11-20 2016-01-18 クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ Piecewise linear neuron modeling
CN106169961A (en) 2016-09-07 2016-11-30 北京百度网讯科技有限公司 The network parameter processing method and processing device of neutral net based on artificial intelligence
US20180302498A1 (en) * 2017-04-17 2018-10-18 Petuum Inc. Efficient Peer-to-Peer Architecture for Distributed Machine Learning
US20180308203A1 (en) * 2017-04-24 2018-10-25 Intel Corporation Efficient sharing and compression expansion of data across processing systems
JP2018206016A (en) * 2017-06-02 2018-12-27 株式会社日立製作所 Machine learning system and machine learning method
WO2019009897A1 (en) 2017-07-06 2019-01-10 Google Llc Systems and methods for compression and distribution of machine learning models
CN109299781A (en) 2018-11-21 2019-02-01 安徽工业大学 Distributed deep learning system based on momentum and beta pruning

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102601848B1 (en) * 2015-11-25 2023-11-13 삼성전자주식회사 Device and method of data recognition model construction, and data recognition devicce
KR102197247B1 (en) * 2017-06-01 2020-12-31 한국전자통신연구원 Parameter server and method for sharing distributed deep learning parameter using the same

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010020444A (en) 2008-07-09 2010-01-28 Sony Corp Learning device, learning method, and program
US20150215433A1 (en) * 2012-08-08 2015-07-30 Empire Technology Development Llc Real-time compressive data collection for cloud monitoring
JP2016501398A (en) 2012-11-20 2016-01-18 クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ Piecewise linear neuron modeling
US20150324686A1 (en) 2014-05-12 2015-11-12 Qualcomm Incorporated Distributed model learning
CN106169961A (en) 2016-09-07 2016-11-30 北京百度网讯科技有限公司 The network parameter processing method and processing device of neutral net based on artificial intelligence
US20180302498A1 (en) * 2017-04-17 2018-10-18 Petuum Inc. Efficient Peer-to-Peer Architecture for Distributed Machine Learning
US20180308203A1 (en) * 2017-04-24 2018-10-25 Intel Corporation Efficient sharing and compression expansion of data across processing systems
JP2018206016A (en) * 2017-06-02 2018-12-27 株式会社日立製作所 Machine learning system and machine learning method
WO2019009897A1 (en) 2017-07-06 2019-01-10 Google Llc Systems and methods for compression and distribution of machine learning models
CN109299781A (en) 2018-11-21 2019-02-01 安徽工业大学 Distributed deep learning system based on momentum and beta pruning

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Han, Song, Huizi Mao, and William J. Dally. Deep compression: Compressing deep neural networks with pruning, trained quantization and huffman coding. arXiv preprint arXiv:1510.00149. 2015.

Also Published As

Publication number Publication date
KR20200104959A (en) 2020-09-07

Similar Documents

Publication Publication Date Title
US10664169B2 (en) Performance of object storage system by reconfiguring storage devices based on latency that includes identifying a number of fragments that has a particular storage device as its primary storage device and another number of fragments that has said particular storage device as its replica storage device
CN111030861B (en) Edge calculation distributed model training method, terminal and network side equipment
CN103024081B (en) Be applicable to the terminal scheduling method of the point-to-point communication of effective guarantee communication system
JP2019513246A (en) Training method of random forest model, electronic device and storage medium
CN111277511B (en) Transmission rate control method, device, computer system and readable storage medium
CN110809771A (en) System and method for compression and distribution of machine learning models
CN103414579A (en) Cross-platform monitoring system applicable to cloud computing and monitoring method thereof
CN103379140A (en) Log processing rule synchronization method and relative device and system
CN112751729A (en) Log monitoring method, device, medium and electronic equipment
CN104219298A (en) Cluster system and data backup method thereof
CN114492854A (en) Method and device for training model, electronic equipment and storage medium
KR102425039B1 (en) Apparatus and method for compressing data in distributed deep-learning environment
CN104202305A (en) Transcoding processing method and device, server
WO2013163818A1 (en) Context-aware http compression
CN105607606B (en) A kind of data acquisition device and method based on double mainboard frameworks
CN116567079A (en) Data compression method and device
CN111610938B (en) Distributed data code storage method, electronic device and computer readable storage medium
CN105357317B (en) A kind of data uploading method and system based on multi-client repeating query queuing
CN112181307A (en) Block chain based distributed data redundancy storage method and electronic equipment
CN112182112A (en) Block chain based distributed data dynamic storage method and electronic equipment
CN111046010A (en) Log storage method, device, system, electronic equipment and computer readable medium
CN114253710A (en) Processing method of computing request, intelligent terminal, cloud server, equipment and medium
CN109766363B (en) Streaming data processing method, system, electronic device and storage medium
CN101741629A (en) Communication encryption method supporting remote monitoring system
CN110019671B (en) Method and system for processing real-time message

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right