KR20200104959A - 분산 딥러닝 환경에서 데이터 압축 장치 및 방법 - Google Patents

분산 딥러닝 환경에서 데이터 압축 장치 및 방법 Download PDF

Info

Publication number
KR20200104959A
KR20200104959A KR1020190022991A KR20190022991A KR20200104959A KR 20200104959 A KR20200104959 A KR 20200104959A KR 1020190022991 A KR1020190022991 A KR 1020190022991A KR 20190022991 A KR20190022991 A KR 20190022991A KR 20200104959 A KR20200104959 A KR 20200104959A
Authority
KR
South Korea
Prior art keywords
parameter update
update information
working devices
central server
information
Prior art date
Application number
KR1020190022991A
Other languages
English (en)
Other versions
KR102425039B1 (ko
Inventor
김상묵
김성윤
윤세영
Original Assignee
한국전력공사
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전력공사, 한국과학기술원 filed Critical 한국전력공사
Priority to KR1020190022991A priority Critical patent/KR102425039B1/ko
Publication of KR20200104959A publication Critical patent/KR20200104959A/ko
Application granted granted Critical
Publication of KR102425039B1 publication Critical patent/KR102425039B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/098—Distributed learning, e.g. federated learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G06F16/174—Redundancy elimination performed by the file system
    • G06F16/1744—Redundancy elimination performed by the file system using compression, e.g. sparse files
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

본 발명은 분산 딥러닝 환경에서 데이터 압축 장치에 관한 것으로, 통신으로 연결된 복수의 작업 장치가 각기 동일한 랜덤 매트릭스(R)를 생성할 수 있도록 하는 랜덤 씨드를 상기 각 작업 장치들에게 전송하는 중앙 서버; 및 내부적으로 자신에게 할당된 데이터를 가지고 파라미터 업데이트 정보를 생성하고, 상기 랜덤 씨드를 이용해 생성한 랜덤 매트릭스(R)를 이용하여 상기 파라미터 업데이트 정보를 각기 압축하며, 상기 압축한 파라미터 업데이트 정보를 각기 중앙 서버에 전송하는 상기 복수의 작업 장치;를 포함한다.

Description

분산 딥러닝 환경에서 데이터 압축 장치 및 방법{APPARATUS AND METHOD FOR COMPRESSING DATA IN DISTRIBUTED DEEP-LEARNING ENVIRONMENT}
본 발명은 분산 딥러닝 환경에서 데이터 압축 장치 및 방법에 관한 것으로, 보다 상세하게는 전력량 예측을 위한 분산 딥러닝(deep learning) 환경에서 전송되는 데이터를 압축하여 전송 정보량(또는 전송 데이터량)을 감소시킬 수 있도록 하는, 분산 딥러닝 환경에서 데이터 압축 장치 및 방법에 관한 것이다.
일반적으로 기존에는 요청에 따라 새로운 프로세스를 생성하여 병렬적으로 딥러닝 모델을 학습하는 기술이 많았다.
그러나 이러한 기존의 기술은 하나의 모델을 빠르게 학습 시키지는 못했다.
또한 기존에 공개된 참고 문헌과 학회지를 참고하면 전송하는 파라미터 업데이트 정보를 적은 비트(bit)를 이용하여 표현함으로써 압축하는 양자화(Quantization) 방법이 있었지만 이는 압축률에 한계가 있었다.
또한 전송되는 정보의 중요한 정보만 전송하는 희소화(Sparsification) 방법은 높은 압축률을 보이지만, 효율적으로 파라미터 업데이트 정보의 송신과 수신을 수행하기 위해서 중앙 서버(예 : 복수의 서버 중 메인 서버)를 사용할 때 취합한 파라미터 업데이트 정보의 양이 커지는 단점이 있었다.
본 발명은 양자화(Quantization)보다 높은 압축률을 보이면서 중앙 서버를 사용하여 파라미터 업데이트 정보를 취합하더라도 그 전송 정보량(또는 전송 데이터량)이 커지지 않게 하기 위한 정보 압축 기술이 필요한 상황이다.
본 발명의 배경기술은 대한민국 공개특허 10-2015-0040894호(2015.04.15.공개, 전력 그리드에 대한 시스템, 방법 및 장치와 그리드 엘리먼트들의 네트워크 관리)에 개시되어 있다.
본 발명의 일 측면에 따르면, 본 발명은 상기와 같은 문제점을 해결하기 위해 창작된 것으로서, 전력량 예측을 위한 분산 딥러닝(deep learning) 환경에서 전송되는 데이터를 압축하여 전송 정보량을 감소시킬 수 있도록 하는, 분산 딥러닝 환경에서 데이터 압축 장치 및 방법을 제공하는 데 그 목적이 있다.
본 발명의 일 측면에 따른 분산 딥러닝 환경에서 데이터 압축 장치는, 통신으로 연결된 복수의 작업 장치가 각기 동일한 랜덤 매트릭스(R)를 생성할 수 있도록 하는 랜덤 씨드를 상기 각 작업 장치들에게 전송하는 중앙 서버; 및 내부적으로 자신에게 할당된 데이터를 가지고 파라미터 업데이트 정보를 생성하고, 상기 랜덤 씨드를 이용해 생성한 랜덤 매트릭스(R)를 이용하여 상기 파라미터 업데이트 정보를 각기 압축하며, 상기 압축한 파라미터 업데이트 정보를 각기 중앙 서버에 전송하는 상기 복수의 작업 장치;를 포함하는 것을 특징으로 한다.
본 발명에 있어서, 상기 중앙 서버는, 상기 각 작업 장치들이 전송한 상기 압축한 파라미터 업데이트 정보를 취합하여 평균을 산출하고, 상기 산출한 평균 값을 취합정보(
Figure pat00001
)로서 출력하며, 상기 취합정보(
Figure pat00002
)를 다시 각 작업 장치들에게 전송하는 것을 특징으로 한다.
본 발명에 있어서, 상기 작업 장치는, 상기 생성한 랜덤 매트릭스(R)의 순서를 기 지정된 순서에 따라 바꾼 트랜스포즈 매트릭스(RT)에 상기 전송받은 취합정보(
Figure pat00003
)를 곱하여 파라미터 업데이트 정보의 압축을 해제하고, 상기 압축을 해제한 각 파라미터 업데이트 정보(
Figure pat00004
)를 이용하여 각기 파라미터의 업데이트를 수행하는 것을 특징으로 한다.
본 발명의 다른 측면에 따른 분산 딥러닝 환경에서 데이터 압축 방법은, 중앙 서버가 통신으로 연결된 복수의 작업 장치들이 동일한 랜덤 매트릭스(R)를 생성할 수 있도록 하는, 랜덤 씨드를 각 작업 장치들에게 전송하는 단계; 상기 각 작업 장치들이 내부적으로 자신에게 할당된 데이터를 가지고 파라미터 업데이트 정보를 생성하는 단계; 상기 각 작업 장치들이 상기 랜덤 씨드를 이용해 생성한 랜덤 매트릭스(R)를 이용하여 상기 파라미터 업데이트 정보를 압축하는 단계; 및 상기 각 작업 장치들이 상기 압축한 파라미터 업데이트 정보를 중앙 서버에 전송하는 단계;를 포함하는 것을 특징으로 한다.
본 발명은, 상기 중앙 서버가 상기 각 작업 장치들이 전송한 상기 압축한 파라미터 업데이트 정보를 취합하는 단계; 상기 중앙 서버가 취합한 상기 압축한 파라미터 업데이트 정보의 평균을 취합정보(
Figure pat00005
)로서 산출하는 단계; 및 상기 중앙 서버가 상기 압축한 파라미터 업데이트 정보의 평균을 산출한 취합정보(
Figure pat00006
)를 다시 각 작업 장치들에게 전송하는 단계;를 더 포함하는 것을 특징으로 한다.
본 발명은, 상기 각 작업 장치들이 랜덤 매트릭스(R)의 순서를 기 지정된 순서에 따라 바꾼 트랜스포즈 매트릭스(RT)에 상기 전송받은 취합정보(
Figure pat00007
)를 곱하여 파라미터 업데이트 정보의 압축을 해제하는 단계; 및 상기 각 작업 장치이 상기 압축을 해제한 파라미터 업데이트 정보(
Figure pat00008
)를 이용하여 각기 파라미터의 업데이트를 수행하는 단계;를 더 포함하는 것을 특징으로 한다.
본 발명의 일 측면에 따르면, 본 발명은 전력량 예측을 위한 분산 딥러닝(deep learning) 환경에서 전송되는 데이터를 압축하여 전송 정보량을 감소시킬 수 있도록 한다. 또한 본 발명은 양자화(Quantization)보다 높은 데이터 압축률을 보이면서 중앙 서버를 사용하여 파라미터 업데이트 정보를 취합하더라도 그 전송 정보량이 커지지 않도록 한다.
도 1은 본 발명의 제1 실시예에 따른 분산 딥러닝 환경에서 데이터 압축 방법을 설명하기 위한 데이터 압축 장치의 개략적인 구성을 보인 예시도.
도 2는 본 발명의 제2 실시예에 따른 분산 딥러닝 환경에서 데이터 압축 방법을 설명하기 위한 데이터 압축 장치의 개략적인 구성을 보인 예시도.
도 3은 본 발명의 제3 실시예에 따른 분산 딥러닝 환경에서 데이터 압축 방법을 설명하기 위한 데이터 압축 장치의 개략적인 구성을 보인 예시도.
이하, 첨부된 도면을 참조하여 본 발명에 따른 분산 딥러닝 환경에서 정보 압축 장치 및 방법의 일 실시예를 설명한다.
이 과정에서 도면에 도시된 선들의 두께나 구성요소의 크기 등은 설명의 명료성과 편의상 과장되게 도시되어 있을 수 있다. 또한, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례에 따라 달라질 수 있다. 그러므로 이러한 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1은 본 발명의 제1 실시예에 따른 분산 딥러닝 환경에서 데이터 압축 방법을 설명하기 위한 데이터 압축 장치의 개략적인 구성을 보인 예시도이고, 도 2는 본 발명의 제2 실시예에 따른 분산 딥러닝 환경에서 데이터 압축 방법을 설명하기 위한 데이터 압축 장치의 개략적인 구성을 보인 예시도이며, 도 3은 본 발명의 제3 실시예에 따른 분산 딥러닝 환경에서 데이터 압축 방법을 설명하기 위한 데이터 압축 장치의 개략적인 구성을 보인 예시도이다.
이하 상기 도 1 내지 도 3을 참조하여 중앙 서버(20)와 작업 장치(Worker Machine)(10)를 포함하는 축을 수행하는 데이터 압축 장치에 대해서 설명한다.
본 발명의 일 실시예에 따른 분산 딥러닝 환경에서 데이터 압축 장치는, 통신으로 연결된 복수의 작업 장치(10)들이 동일한 랜덤 매트릭스(Random Matrix)(R)를 생성할 수 있도록 하는, 랜덤 씨드(Random Seed)(21)를 각 작업 장치(10)들에게 전송하는 중앙 서버(20), 및 내부적으로 자신에게 할당된 데이터(예 : D1, D2, D3 등)(50)를 가지고 파라미터 업데이트 정보(예 : G1, G2, GN)(11)를 생성하고, 상기 랜덤 씨드(21)를 이용해 생성한 랜덤 매트릭스(R)(31)를 이용하여 상기 파라미터 업데이트 정보(예 : G1, G2, GN)(11)를 압축하며, 상기 압축한 파라미터 업데이트 정보(예 : G1R, G2R, GNR)(41)를 각기 중앙 서버(20)에 전송하는 복수의 작업 장치(10)들을 포함한다.
이 때 상기 중앙 서버(20)는 상기 각 작업 장치(10)들이 전송한 상기 압축한 파라미터 업데이트 정보(예 : G1R, G2R, GNR)(41)를 취합하여 평균을 산출하고, 상기 산출한 평균 값(
Figure pat00009
)을 취합정보(
Figure pat00010
)(42)로서 출력하며, 상기 취합정보(
Figure pat00011
)(42)를 다시 각 작업 장치(10)들에게 전송한다.
이에 따라 상기 각 작업 장치(10)들은 상기 생성한 랜덤 매트릭스(R)(31)의 순서를 기 지정된 순서에 따라 바꾼(Transpose) 트랜스포즈 매트릭스(RT)(32)에 상기 전송받은 취합정보(
Figure pat00012
)(42)를 곱하여 파라미터 업데이트 정보의 압축을 해제하고, 상기 압축을 해제한 각 파라미터 업데이트 정보(
Figure pat00013
)(12)를 이용하여 각기 파라미터의 업데이트를 수행한다.
이하 상기 도 1 내지 도 3을 참조하여 중앙 서버(20)와 작업 장치(Worker Machine)(10)간에 데이터 압축을 수행하는 방법을 단계적으로 설명한다.
도 1 내지 도 3에 도시된 바와 같이, 본 발명의 제1~3 실시예에 따른 분산 딥러닝 환경에서 데이터 압축 방법을 설명하기 위한 데이터 압축 장치는, 중앙 서버(20), 및 복수의 작업 장치(Worker Machine)(10)를 포함한다.
상기 중앙 서버(20)는 통신으로 연결된 복수의 작업 장치(10)들이 동일한 랜덤 매트릭스(Random Matrix)(R)를 생성할 수 있도록 하는, 랜덤 씨드(Random Seed)(21)를 각 작업 장치(10)들에게 전송한다(도 1 참조).
상기 각 작업 장치(10)들은 내부적으로 자신에게 할당된 데이터(예 : D1, D2, D3 등)(50)를 가지고 파라미터 업데이트 정보(예 : G1, G2, GN)(11)를 생성한다(도 2 참조).
또한 상기 각 작업 장치(10)들은 상기 랜덤 씨드(21)를 이용해 생성한 랜덤 매트릭스(R)(31)를 이용하여 상기 파라미터 업데이트 정보(예 : G1, G2, GN)(11)를 압축한다(도 2 참조).
또한 상기 각 작업 장치(10)들은 상기 압축한 파라미터 업데이트 정보(예 : G1R, G2R, GNR)(41)를 중앙 서버(20)에 전송한다(도 2 참조)
이에 상기 중앙 서버(20)는 상기 각 작업 장치(10)들이 전송한 상기 압축한 파라미터 업데이트 정보(예 : G1R, G2R, GNR)(41)를 취합한다(도 2 참조).
또한 상기 중앙 서버(20)는 취합한 상기 압축한 파라미터 업데이트 정보(예 : G1R, G2R, GNR)(41)의 평균을 취합정보(
Figure pat00014
)(42)로서 산출한다(도 3 참조).
그리고 상기 중앙 서버(20)는 상기 압축한 파라미터 업데이트 정보(예 : G1R, G2R, GNR)(41)의 평균을 산출한 취합정보(
Figure pat00015
)(42)를 다시 각 작업 장치(10)들에게 전송한다(도 3 참조).
이에 상기 각 작업 장치(10)들은 상기 생성한 랜덤 매트릭스(R)(31)의 순서를 기 지정된 순서에 따라 바꾼(Transpose) 트랜스포즈 매트릭스(RT)(32)에 상기 전송받은 취합정보(
Figure pat00016
)(42)를 곱하여 파라미터 업데이트 정보의 압축을 해제한다(도 3 참조).
또한 상기 각 작업 장치(10)들은 상기 압축을 해제한 파라미터 업데이트 정보(
Figure pat00017
)(12)를 이용하여 각기 파라미터의 업데이트를 수행한다(도 3 참조).
참고로, 상기 랜덤 매트릭스(Random Matrix)(R)의 모든 요소는
Figure pat00018
혹은
Figure pat00019
값을 가지는데, 여기서 상기 k는 랜덤(Random Matrix)(R)의 열의 개수이며, 이렇게 생성된 랜덤 매트릭스(Random Matrix)(R)(31)와 이 랜덤 매트릭스(Random Matrix)의 순서를 기 지정된 순서에 따라 바꾼(Transpose) 트랜스포즈 매트릭스(RT)(32)와의 곱의 기대값(즉,
Figure pat00020
)이 단위행렬(Identity Matrix)이 되는데, 이 성질을 이용하여 전송할 정보를 압축하고 해제한다.
일반적으로 전력량의 예측을 통해서 우리는 보다 안정적이고 효율적인 전력을 제공 전략을 세울 수 있으며, 또한 단기적인 기간뿐만 아니라 중장기 전력 수요 예측을 통해서 전력 시스템을 최적의 상태로 유지할 수 있다. 따라서 전력 수요 예측의 수요는 계속 증가할 것이며, 재귀신경망(RNN : Recurrent Neural Network) 혹은 합성곱신경망(CNN : Convolution Neural Network) 모델과 같은 인공 신경망은 이런 수요 예측 향상에 큰 가능성을 제시할 것이다.
이에 따라 본 실시예에 따른 데이터(또는 정보) 압축 기술은, 파라미터 업데이트 정보의 송신과 수신을 위해서 중앙 서버(20)를 사용할 때 취합한 파라미터 업데이트 정보의 양이 커지지 않도록 함으로써, 상기 인공 신경망을 한층 더 빠르게 학습할 수 있도록 하는 효과가 있다.
이상으로 본 발명은 도면에 도시된 실시예를 참고로 하여 설명되었으나, 이는 예시적인 것에 불과하며, 당해 기술이 속하는 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 기술적 보호범위는 아래의 특허청구범위에 의해서 정하여져야 할 것이다. 또한 본 명세서에서 설명된 구현은, 예컨대, 방법 또는 프로세스, 장치, 소프트웨어 프로그램, 데이터 스트림 또는 신호로 구현될 수 있다. 단일 형태의 구현의 맥락에서만 논의(예컨대, 방법으로서만 논의)되었더라도, 논의된 특징의 구현은 또한 다른 형태(예컨대, 장치 또는 프로그램)로도 구현될 수 있다. 장치는 적절한 하드웨어, 소프트웨어 및 펌웨어 등으로 구현될 수 있다. 방법은, 예컨대, 컴퓨터, 마이크로프로세서, 집적 회로 또는 프로그래밍가능한 로직 디바이스 등을 포함하는 프로세싱 디바이스를 일반적으로 지칭하는 프로세서 등과 같은 장치에서 구현될 수 있다. 프로세서는 또한 최종-사용자 사이에 정보의 통신을 용이하게 하는 컴퓨터, 셀 폰, 휴대용/개인용 정보 단말기(personal digital assistant: "PDA") 및 다른 디바이스 등과 같은 통신 디바이스를 포함한다.
10 : 작업 장치
20 : 중앙 서버

Claims (6)

  1. 통신으로 연결된 복수의 작업 장치가 각기 동일한 랜덤 매트릭스(R)를 생성할 수 있도록 하는 랜덤 씨드를 상기 각 작업 장치들에게 전송하는 중앙 서버; 및
    내부적으로 자신에게 할당된 데이터를 가지고 파라미터 업데이트 정보를 생성하고, 상기 랜덤 씨드를 이용해 생성한 랜덤 매트릭스(R)를 이용하여 상기 파라미터 업데이트 정보를 각기 압축하며, 상기 압축한 파라미터 업데이트 정보를 각기 중앙 서버에 전송하는 상기 복수의 작업 장치;를 포함하는 것을 특징으로 하는 분산 딥러닝 환경에서 데이터 압축 장치.
  2. 제 1항에 있어서, 상기 중앙 서버는,
    상기 각 작업 장치들이 전송한 상기 압축한 파라미터 업데이트 정보를 취합하여 평균을 산출하고, 상기 산출한 평균 값을 취합정보(
    Figure pat00021
    )로서 출력하며, 상기 취합정보(
    Figure pat00022
    )를 다시 각 작업 장치들에게 전송하는 것을 특징으로 하는 분산 딥러닝 환경에서 데이터 압축 장치.
  3. 제 1항에 있어서, 상기 작업 장치는,
    상기 생성한 랜덤 매트릭스(R)의 순서를 기 지정된 순서에 따라 바꾼 트랜스포즈 매트릭스(RT)에 상기 전송받은 취합정보(
    Figure pat00023
    )를 곱하여 파라미터 업데이트 정보의 압축을 해제하고, 상기 압축을 해제한 각 파라미터 업데이트 정보(
    Figure pat00024
    )를 이용하여 각기 파라미터의 업데이트를 수행하는 것을 특징으로 하는 분산 딥러닝 환경에서 데이터 압축 장치.
  4. 중앙 서버가 통신으로 연결된 복수의 작업 장치들이 동일한 랜덤 매트릭스(R)를 생성할 수 있도록 하는, 랜덤 씨드를 각 작업 장치들에게 전송하는 단계;
    상기 각 작업 장치들이 내부적으로 자신에게 할당된 데이터를 가지고 파라미터 업데이트 정보를 생성하는 단계;
    상기 각 작업 장치들이 상기 랜덤 씨드를 이용해 생성한 랜덤 매트릭스(R)를 이용하여 상기 파라미터 업데이트 정보를 압축하는 단계; 및
    상기 각 작업 장치들이 상기 압축한 파라미터 업데이트 정보를 중앙 서버에 전송하는 단계;를 포함하는 것을 특징으로 하는 분산 딥러닝 환경에서 데이터 압축 방법.
  5. 제 4항에 있어서,
    상기 중앙 서버가 상기 각 작업 장치들이 전송한 상기 압축한 파라미터 업데이트 정보를 취합하는 단계;
    상기 중앙 서버가 취합한 상기 압축한 파라미터 업데이트 정보의 평균을 취합정보(
    Figure pat00025
    )로서 산출하는 단계; 및
    상기 중앙 서버가 상기 압축한 파라미터 업데이트 정보의 평균을 산출한 취합정보(
    Figure pat00026
    )를 다시 각 작업 장치들에게 전송하는 단계;를 더 포함하는 것을 특징으로 하는 분산 딥러닝 환경에서 데이터 압축 방법.
  6. 제 5항에 있어서,
    상기 각 작업 장치들이 랜덤 매트릭스(R)의 순서를 기 지정된 순서에 따라 바꾼 트랜스포즈 매트릭스(RT)에 상기 전송받은 취합정보(
    Figure pat00027
    )를 곱하여 파라미터 업데이트 정보의 압축을 해제하는 단계; 및
    상기 각 작업 장치이 상기 압축을 해제한 파라미터 업데이트 정보(
    Figure pat00028
    )를 이용하여 각기 파라미터의 업데이트를 수행하는 단계;를 더 포함하는 것을 특징으로 하는 분산 딥러닝 환경에서 데이터 압축 방법.
KR1020190022991A 2019-02-27 2019-02-27 분산 딥러닝 환경에서 데이터 압축 장치 및 방법 KR102425039B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190022991A KR102425039B1 (ko) 2019-02-27 2019-02-27 분산 딥러닝 환경에서 데이터 압축 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190022991A KR102425039B1 (ko) 2019-02-27 2019-02-27 분산 딥러닝 환경에서 데이터 압축 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20200104959A true KR20200104959A (ko) 2020-09-07
KR102425039B1 KR102425039B1 (ko) 2022-07-28

Family

ID=72472068

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190022991A KR102425039B1 (ko) 2019-02-27 2019-02-27 분산 딥러닝 환경에서 데이터 압축 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102425039B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102390553B1 (ko) * 2020-11-24 2022-04-27 한국과학기술원 연합 학습 방법 및 시스템

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010020444A (ja) * 2008-07-09 2010-01-28 Sony Corp 学習装置、学習方法、およびプログラム
US20150215433A1 (en) * 2012-08-08 2015-07-30 Empire Technology Development Llc Real-time compressive data collection for cloud monitoring
US20150324686A1 (en) * 2014-05-12 2015-11-12 Qualcomm Incorporated Distributed model learning
JP2016501398A (ja) * 2012-11-20 2016-01-18 クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ 区分的線形ニューロンモデル化
CN106169961A (zh) * 2016-09-07 2016-11-30 北京百度网讯科技有限公司 基于人工智能的神经网络的网络参数处理方法及装置
KR20170061016A (ko) * 2015-11-25 2017-06-02 삼성전자주식회사 데이터 인식 모델 구축 장치 및 방법과 데이터 인식 장치
US20180302498A1 (en) * 2017-04-17 2018-10-18 Petuum Inc. Efficient Peer-to-Peer Architecture for Distributed Machine Learning
US20180308203A1 (en) * 2017-04-24 2018-10-25 Intel Corporation Efficient sharing and compression expansion of data across processing systems
KR20180131836A (ko) * 2017-06-01 2018-12-11 한국전자통신연구원 파라미터 서버 및 그것에 의해 수행되는 분산 딥러닝 파라미터 공유 방법
JP2018206016A (ja) * 2017-06-02 2018-12-27 株式会社日立製作所 機械学習システム及び機械学習方法
WO2019009897A1 (en) * 2017-07-06 2019-01-10 Google Llc SYSTEMS AND METHODS FOR COMPRESSION AND DISTRIBUTION OF MACHINE LEARNING MODELS
CN109299781A (zh) * 2018-11-21 2019-02-01 安徽工业大学 基于动量和剪枝的分布式深度学习系统

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010020444A (ja) * 2008-07-09 2010-01-28 Sony Corp 学習装置、学習方法、およびプログラム
US20150215433A1 (en) * 2012-08-08 2015-07-30 Empire Technology Development Llc Real-time compressive data collection for cloud monitoring
JP2016501398A (ja) * 2012-11-20 2016-01-18 クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ 区分的線形ニューロンモデル化
US20150324686A1 (en) * 2014-05-12 2015-11-12 Qualcomm Incorporated Distributed model learning
KR20170061016A (ko) * 2015-11-25 2017-06-02 삼성전자주식회사 데이터 인식 모델 구축 장치 및 방법과 데이터 인식 장치
CN106169961A (zh) * 2016-09-07 2016-11-30 北京百度网讯科技有限公司 基于人工智能的神经网络的网络参数处理方法及装置
US20180302498A1 (en) * 2017-04-17 2018-10-18 Petuum Inc. Efficient Peer-to-Peer Architecture for Distributed Machine Learning
US20180308203A1 (en) * 2017-04-24 2018-10-25 Intel Corporation Efficient sharing and compression expansion of data across processing systems
KR20180131836A (ko) * 2017-06-01 2018-12-11 한국전자통신연구원 파라미터 서버 및 그것에 의해 수행되는 분산 딥러닝 파라미터 공유 방법
JP2018206016A (ja) * 2017-06-02 2018-12-27 株式会社日立製作所 機械学習システム及び機械学習方法
WO2019009897A1 (en) * 2017-07-06 2019-01-10 Google Llc SYSTEMS AND METHODS FOR COMPRESSION AND DISTRIBUTION OF MACHINE LEARNING MODELS
CN109299781A (zh) * 2018-11-21 2019-02-01 安徽工业大学 基于动量和剪枝的分布式深度学习系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Han, Song, Huizi Mao, and William J. Dally. Deep compression: Compressing deep neural networks with pruning, trained quantization and huffman coding. arXiv preprint arXiv:1510.00149. 2015. *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102390553B1 (ko) * 2020-11-24 2022-04-27 한국과학기술원 연합 학습 방법 및 시스템

Also Published As

Publication number Publication date
KR102425039B1 (ko) 2022-07-28

Similar Documents

Publication Publication Date Title
CN111030861B (zh) 一种边缘计算分布式模型训练方法、终端和网络侧设备
CN110809771B (zh) 用于机器学习模型的压缩和分发的系统和方法
CN111176929A (zh) 一种面向边缘联邦学习的高能效计算通信联合优化方法
CN113469373B (zh) 基于联邦学习的模型训练方法、系统、设备及存储介质
CN109981744B (zh) 数据的分发方法、装置、存储介质及电子设备
US10592578B1 (en) Predictive content push-enabled content delivery network
CN112751729A (zh) 日志监控方法、装置、介质及电子设备
Alyouzbaki et al. Novel load balancing approach based on ant colony optimization technique in cloud computing
CN112181307A (zh) 基于区块链的分布式数据冗余存储方法和电子设备
CN111935025A (zh) 一种tcp传输性能的控制方法、装置、设备和介质
KR102425039B1 (ko) 분산 딥러닝 환경에서 데이터 압축 장치 및 방법
CN105450784A (zh) 向mq中的消息分配消费节点的装置及方法
CN117196014B (zh) 基于联邦学习的模型训练方法、装置、计算机设备及介质
US20240104099A1 (en) Method and System for Estimating the Cardinality of Information
CN111538560B (zh) 一种虚拟机部署方法、装置、电子设备及其存储介质
CN116962187A (zh) 一种多耦合算法边缘网关的云响应方法、装置及介质
CN115277684A (zh) 文件传输方法、装置、设备以及存储介质
CN104780061B (zh) 一种基于日志的通讯开销预测方法
CN110019671B (zh) 一种处理实时消息的方法和系统
CN113760484A (zh) 数据处理的方法和装置
CN105704004B (zh) 业务数据处理方法和装置
Su et al. Expediting In-Network Federated Learning by Voting-Based Consensus Model Compression
CN111694717A (zh) 一种确定系统承压能力值的方法和装置
CN117195978B (zh) 模型压缩方法、训练方法、文本数据处理方法及装置
CN111901253B (zh) 用于存储系统的流量控制方法、装置、介质及电子设备

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right