KR102497336B1 - 분산형 딥러닝 학습 시스템의 블록체인 기반 가중치 관리 방법, 분산형 딥러닝 학습 시스템 및 노드 장치 - Google Patents

분산형 딥러닝 학습 시스템의 블록체인 기반 가중치 관리 방법, 분산형 딥러닝 학습 시스템 및 노드 장치 Download PDF

Info

Publication number
KR102497336B1
KR102497336B1 KR1020210026063A KR20210026063A KR102497336B1 KR 102497336 B1 KR102497336 B1 KR 102497336B1 KR 1020210026063 A KR1020210026063 A KR 1020210026063A KR 20210026063 A KR20210026063 A KR 20210026063A KR 102497336 B1 KR102497336 B1 KR 102497336B1
Authority
KR
South Korea
Prior art keywords
weight data
deep learning
node
data
blockchain
Prior art date
Application number
KR1020210026063A
Other languages
English (en)
Other versions
KR20220121992A (ko
Inventor
최병주
추현지
Original Assignee
이화여자대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 이화여자대학교 산학협력단 filed Critical 이화여자대학교 산학협력단
Priority to KR1020210026063A priority Critical patent/KR102497336B1/ko
Publication of KR20220121992A publication Critical patent/KR20220121992A/ko
Application granted granted Critical
Publication of KR102497336B1 publication Critical patent/KR102497336B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/08—Network architectures or network communication protocols for network security for authentication of entities
    • H04L63/083—Network architectures or network communication protocols for network security for authentication of entities using passwords
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer And Data Communications (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Multi Processors (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

분산형 딥러닝 학습 시스템의 블록체인 기반 가중치 관리 방법은 복수의 노드들 각각이 학습 데이터를 할당받는 단계, 상기 복수의 노드들 중 어느 하나의 노드가 자신에게 할당된 학습 데이터를 기준으로 로컬 딥러닝 모델을 학습하여 상기 로컬 딥러닝 모델의 가중치 데이터를 업데이트하는 단계, 상기 어느 하나의 노드가 상기 업데이트된 가중치 데이터를 블록체인에 배포하는 단계, 상기 복수의 노드들 중 상기 어느 하나의 노드를 제외한 나머지 노드들 중 적어도 하나의 노드가 상기 블록체인으로부터 상기 업데이트된 가중치 데이터를 수신하는 단계 및 상기 적어도 하나의 노드가 상기 업데이트된 가중치 데이터를 자신의 로컬 딥러닝 모델에 적용하는 단계를 포함한다.

Description

분산형 딥러닝 학습 시스템의 블록체인 기반 가중치 관리 방법, 분산형 딥러닝 학습 시스템 및 노드 장치{BLOCKCHAIN BASED WEIGHT MANAGING METHOD IN DISTRIBUTED DEEP LEARNING SYSTEM, DISTRIBUTED DEEP LEARNING SYSTEM AND NODE APPARATUS}
이하 설명하는 기술은 블록체인을 이용하여 가중치를 공유하는 분산형 딥러닝 학습 기법에 관한 것이다.
최근 다양한 분야에서 딥러닝(deep learning) 모델을 이용한 애플리케이션이 연구 및 개발되고 있다. 딥러닝 모델은 사전에 학습 데이터를 이용하여 학습되어야 한다. 대량의 학습 데이터를 이용한 딥러닝 모델 학습은 고성능 컴퓨팅 자원을 필요로 하며, 시간도 많이 소요된다. 이를 극복하고자 분산형 딥러닝(distributed deep learning)이 연구되었다. 분산형 딥러닝 기법은 학습 데이터를 분할하여 복수의 학습 장치들이 개별적인 학습을 수행하며, 개별 장치가 학습한 결과로 도출되는 가중치를 다른 장치에 공유한다. 가중치 공유를 위한 대표적인 기법은 D-PSGD, TreeEASGD 등이 있다.
미국공개특허 US2019-0228338호
D-PSGD 및 TreeEASGD는 서로 다른 토폴로지를 사용하지만, 모두 P2P 방식으로 특정 노드에 장애가 발생하면 가중치 데이터의 공유가 어려운 한계가 있었다.
이하 설명하는 기술은 블록체인을 사용하여 가중치를 공유하는 분산형 딥러닝 기법을 제공하고자 한다.
분산형 딥러닝 학습 시스템의 블록체인 기반 가중치 관리 방법은 복수의 노드들 각각이 학습 데이터를 할당받는 단계, 상기 복수의 노드들 중 어느 하나의 노드가 자신에게 할당된 학습 데이터를 기준으로 로컬 딥러닝 모델을 학습하여 상기 로컬 딥러닝 모델의 가중치 데이터를 업데이트하는 단계, 상기 어느 하나의 노드가 상기 업데이트된 가중치 데이터를 블록체인에 배포하는 단계, 상기 복수의 노드들 중 상기 어느 하나의 노드를 제외한 나머지 노드들 중 적어도 하나의 노드가 상기 블록체인으로부터 상기 업데이트된 가중치 데이터를 수신하는 단계 및 상기 적어도 하나의 노드가 상기 업데이트된 가중치 데이터를 자신의 로컬 딥러닝 모델에 적용하는 단계를 포함한다.
블록체인 기반으로 가중치를 공유하는 분산형 딥러닝 학습 시스템은 학습 데이터를 할당받아 분산형 딥러닝 학습을 하는 복수의 노드들 및 블록체인 네트워크를 포함한다. 상기 복수의 노드들 중 어느 하나 노드는 자신의 로컬 딥러닝 모델의 가중치 데이터가 업데이트되는 경우, 상기 업데이트된 가중치 데이터를 상기 블록체인 네트워크에 배포하히고, 상기 복수의 노드들 중 상기 어느 하나의 노드를 제외한 나머지 노드들 중 적어도 하나의 노드가 상기 블록체인 네트워크로부터 수신한 상기 업데이트된 가중치 데이터를 자신의 로컬 딥러닝 모델에 적용하여 학습한다.
분산형 딥러닝 학습 시스템의 노드 장치는 학습 데이터 및 로컬 딥러닝 모델을 저장하는 저장장치, 상기 로컬 딥러닝 모델의 제1 가중치 데이터에 대한 업로드 요청 및 다른 노드 장치의 제2 가중치 데이터에 대한 다운로드 요청을 입력받는 인터페이스 장치, 상기 업로드 요청에 따라 상기 제1 가중치 데이터를 블록체인 네트워크에 전송하고, 상기 다운로드 요청에 따라 상기 제2 가중치 데이터를 상기 블록체인 네트워크로부터 수신하는 통신장치 및 상기 학습 데이터를 이용하여 상기 로컬 딥러닝 모델을 학습하면서 상기 제1 가중치 데이터를 업데이트하고, 상기 업데이트된 제1 가중치 데이터 이후에 상기 블록체인에 새롭게 등록된 상기 제2 가중치 데이터가 있는 경우, 상기 로컬 딥러닝 모델에 상기 제2 가중치 데이터를 적용하여 학습을 하는 연산장치를 포함한다.
이하 설명하는 기술은 블록체인을 사용하여 딥러닝 모델의 가중치를 공유하기 때문에 데이터의 무결성이 보장되고, 블록체인의 합의 알고리즘에 따라 최신의 가중치가 공유된다는 장점이 있다.
도 1은 블록체인 기반 분산형 딥러닝 학습 시스템에 대한 예이다.
도 2는 블록체인 기반 분산형 딥러닝 학습 시스템의 가중치 데이터 공유 과정에 대한 예이다.
도 3은 블록체인 기반 분산형 딥러닝 학습 시스템의 노드 장치의 동작에 대한 예이다.
도 4는 블록체인 기반 분산형 딥러닝 학습 시스템의 노드 장치에 대한 예이다.
이하 설명하는 기술은 다양한 변경을 가할 수 있고 여러 가지 실시례를 가질 수 있는 바, 특정 실시례들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나, 이는 이하 설명하는 기술을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 이하 설명하는 기술의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 해당 구성요소들은 상기 용어들에 의해 한정되지는 않으며, 단지 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 이하 설명하는 기술의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
본 명세서에서 사용되는 용어에서 단수의 표현은 문맥상 명백하게 다르게 해석되지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "포함한다" 등의 용어는 설명된 특징, 개수, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 의미하는 것이지, 하나 또는 그 이상의 다른 특징들이나 개수, 단계 동작 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 배제하지 않는 것으로 이해되어야 한다.
도면에 대한 상세한 설명을 하기에 앞서, 본 명세서에서의 구성부들에 대한 구분은 각 구성부가 담당하는 주기능 별로 구분한 것에 불과함을 명확히 하고자 한다. 즉, 이하에서 설명할 2개 이상의 구성부가 하나의 구성부로 합쳐지거나 또는 하나의 구성부가 보다 세분화된 기능별로 2개 이상으로 분화되어 구비될 수도 있다. 그리고 이하에서 설명할 구성부 각각은 자신이 담당하는 주기능 이외에도 다른 구성부가 담당하는 기능 중 일부 또는 전부의 기능을 추가적으로 수행할 수도 있으며, 구성부 각각이 담당하는 주기능 중 일부 기능이 다른 구성부에 의해 전담되어 수행될 수도 있음은 물론이다.
또, 방법 또는 동작 방법을 수행함에 있어서, 상기 방법을 이루는 각 과정들은 문맥상 명백하게 특정 순서를 기재하지 않은 이상 명기된 순서와 다르게 일어날 수 있다. 즉, 각 과정들은 명기된 순서와 동일하게 일어날 수도 있고 실질적으로 동시에 수행될 수도 있으며 반대의 순서대로 수행될 수도 있다.
블록체인은 데이터를 거래할 때 중앙집중형 서버에 기록을 보관하는 기존 방식과 달리 거래 참가자 모두에게 내용을 공개하는 분산형 디지털 장부를 말한다. 현재 까지 다양한 블록체인 플랫폼이 개발되었다. 이하 블록체인은 특정한 프로토콜이나 개발 언어를 가리지 않고, 다양한 플랫폼을 포함하는 의미로 사용한다.
이하 설명하는 기술은 스마트 컨트랙트(smart contract)를 활용한다. 스마트 컨트랙트는 블록체인에서 특정 동작이나 명령을 수행할 수 있게 한다. 스마트 컨트랙트를 지원하는 대표적인 플랫폼은 이더리움(Ethereum)이 있다. 따라서, 이하 설명하는 기술은 이더리움 플랫폼에서 동작할 수도 있다. 다만, 이하 설명하는 기술은 특정 블록체인 플랫폼에 국한되는 기술은 아니다.
이하 분산형 딥러닝 시스템 내지 분산형 딥러닝 학습 시스템에 대하여 설명한다. 분산형 딥러닝 학습 시스템은 전술한 바와 같이 딥러닝 모델을 학습하는 시스템이다. 딥러닝 모델은 보편적으로 입력층과 출력층 사이에 여러 개의 은닉층들을 포함하는 인공신경망 모델이다. 딥러닝 모델은 다양한 유형의 모델이 연구되었다. 예컨대, CNN(Convolutional Neural Network), RNN(Recurrent Neural Network), RBM(Restricted Boltzmann Machine), DBN(Deep Belief Network), GAN(Generative Adversarial Network), RL(Relation Networks) 등이 있다. 이하 설명하는 분산형 딥러닝 학습 시스템은 다양한 유형의 딥러닝 모델 중 어느 하나를 학습하는 시스템에 해당한다. 나아가, 분산형 딥러닝 학습 시스템은 대량의 학습 데이터를 이용하는 학습 모델을 학습하기 위한 것이므로, 딥러닝 모델보다 개념이 넓은 학습 모델을 대상으로 할 수도 있다. 다만, 이하 설명의 편의를 위하여 딥러닝 모델을 중심으로 설명한다.
도 1은 블록체인 기반 분산형 딥러닝 학습 시스템(100)에 대한 예이다. 분산형 딥러닝 학습 시스템(110)은 복수의 노드 장치를 포함한다. 도 1은 예시적으로 5개의 노드 장치들(111 ~ 115)을 도시하였다.
학습 데이터 데이터베이스(DB)(105)는 전체 학습 데이터를 저장한다. 학습 데이터는 딥러닝 모델의 애플리케이션에 따라 영상, 오디오, 텍스트 등 다양한 유형일 수 있다.
노드 장치들(111 ~ 115) 각각은 학습 데이터 DB(105)로부터 일정하게 분할된 학습 데이터를 수신한다. 노드 장치들(111 ~ 115)은 각각 중복되지 않은 학습 데이터를 할당받을 수 있다. 노드 장치 1(111)은 학습 데이터 1을 수신하고, 노드 장치 2(112)는 학습 데이터 2를 수신하고, 노드 장치 3(113)은 학습 데이터 3을 수신하고, 노드 장치 4(114)는 학습 데이터 4를 수신하고, 노드 장치 5(115)는 학습 데이터 5를 수신한다. 경우에 따라서 노드 장치들(111 ~ 115)은 일부 중복되는 학습 데이터를 할당받을 수도 있다.
도 1에 도시하지 않았지만, 분산형 딥러닝 학습 시스템(100)은 학습 과정을 제어하는 별도의 제어 장치(서버 등)를 포함할 수도 있다. 이 경우, 제어 장치가 개별 노드 장치들에 학습 데이터 할당을 할 수도 있다.
노드 장치들(111 ~ 115) 각각은 수신한 학습 데이터를 이용하여 로컬(local) 딥러닝 모델을 학습한다. 로컬 딥러닝 모델은 특정 노드 장치에서 학습되는 대상을 말한다.
예컨대, 노드 장치 1(111)은 로컬 딥러닝 모델 1을 사전에 입력받고, 학습 데이터 1을 이용하여 로컬 딥러닝 모델 1을 학습한다(①). 노드 장치 1(111)이 로컬 딥러닝 모델 1을 학습하면 로컬 딥러닝 모델 1의 가중치가 업데이트된다. 노드 장치 1(111)은 업데이트된(새로운) 가중치 데이터를 블록체인(150)에 배포한다(②).
블록체인(150)은 가중치 데이터를 포함하는 블록을 생성하여 블록체인(150)을 구성하는 개별 노드에 블록을 동기화한다. 블록체인은 합의 알고리즘에 따라 블록의 내용을 점검하고 동일한 트랜잭션이 다른 노드들에 공유될 수 있도록 한다. 블록체인의 합의 알고리즘이나 동기화에 대한 상세한 설명은 생략한다.
노드 장치들(112~115)은 블록체인(150)에 새로운 가중치 데이터(블록)가 등록되었는지 모니터링할 수 있다. 노드 장치들(112~115)은 또는 노드 장치들(112~115) 중 적어도 하나는 블록체인(150)으로부터 새로운 가중치 데이터를 다운로드 받을 수 있다(③). 이 과정을 통해 새로운 가중치가 다른 노드 장치들(112 내지 115)에 공유된다.
나아가, 노드 장치들(112 내지 115)은 새로운 가중치를 자신의 로컬 딥러닝 모델에 적용하여 딥러닝 모델을 학습할 수 있다(④).
노드 장치들(111 ~ 115)은 딥러닝 모델의 학습이 완료될 때까지 전술한 과정을 반복하면서 가중치 데이터를 공유하게 된다.
나아가, 노드 장치들(111 ~ 115) 중 적어도 하나의 노드 장치는 블록체인(150)을 구성하는 노드일 수도 있다.
도 2는 블록체인 기반 분산형 딥러닝 학습 시스템의 가중치 데이터 공유 과정(200)에 대한 예이다. 도 2는 도 1의 시스템(100)의 구성을 기준으로 설명한다.
노드 장치 1(111), 노드 장치 2(112), ... , 노드 장치 5(115) 각각은 학습 데이터 DB(105)에 저장된 학습 데이터 중 일부를 할당받는다(210).
노드 장치 1(111)을 기준으로 설명하면, 노드 장치 1(111)은 학습 데이터를 인터페이스 A를 통해 입력받는다. 이후 노드 장치 1(111)은 입력받은 학습 데이터를 이용하여 로컬 딥러닝 모델을 학습한다(220). 학습 과정에서 로컬 딥러닝 모델은 가중치 데이터가 업데이트된다. 로컬 딥러닝 모델은 Python 및 Tensorflow을 이용하여 구축될 수 있다. 도 2는 노드 장치 1(111)는 내부의 로컬 딥러닝 모델로부터 인터페이스 B를 통해 학습된 가중치 데이터를 획득할 수 있다(220).
노드 장치 중 업데이트된 가중치 데이터를 생성한 장치는 업데이트된 가중치 데이터를 블록체인 네트워크(150)에 업로드한다. 가중치 데이터를 업로드하는 노드 장치를 업로더(uploader)라고 할 수 있다.
업로더인 노드 장치 1(111)은 사용자로부터 업데이트된 가중치를 배포하기 위한 요청, 블록체인 주소 및 비밀번호를 인터페이스 C를 통해 입력받을 수 있다(230). 업로드 요청은 블록체인 주소 등을 포함하는 형태일 수도 있다.
노드 장치 1은 학습과정에서 획득한 가중치 데이터를 포함하는 트랜잭션을 생성하여 블록체인에 배포한다(240). 트랜잭션이 배포되면 블록체인 네트워크(150)는 합의 알고리즘에 따라 블록을 생성하고, 노드 장치 1(111)이 발행한 트랜잭션을 새로운 블록으로 블록체인 네트워크에 등록한다(250). 즉, 블록체인 네트워크(150)는 업데이트된 가중치 데이터를 등록한다(250).
노드 장치는 블록체인 네트워크(150)와 인터페이스 D를 통해 정보를 교환할 수 있다. 노드 장치 1(111)은 인터페이스 D를 통해 블록체인 네트워크(150)에 트랜잭션을 송신할 수 있다. 또한, 사용자도 인터페이스 D를 통해 블록체인 네트워크(150)에 등록된 새로운 블록(가중치 데이터 포함)을 확인할 수도 있다.
노드 장치 2(112) 내지 노드 장치 5(115) 중 적어도 하나의 노드는 블록체인 네트워크(150)에 등록된 새로운 블록을 확인하면서, 새로운 가중치 데이터가 등록된 경우, 블록체인 네트워크(150)로부터 새로운 가중치 데이터를 다운로드 할 수 있다(260). 블록체인 네트워크(150)로부터 새로운 가중치 데이터를 다운로드하는 노드 장치를 다운로더(downloader)라고 할 수 있다.
다운로더인 노드 장치 2(112) 내지 노드 장치 5(115)는 새로운 가중치 데이터를 자신의 로컬 딥러닝 모델에 업데이트하고, 업데이트된 모델을 이용하여 학습을 수행할 수 있다.
도 2의 노드 장치 1(111) 내지 노드 장치 5(115)는 블록체인을 구성하는 노드일 수 있다. 도 2는 노드 장치(111 내지 115)가 이더리움 블록체인 네트워크인 Go-Ethereum(Geth) 활용하여 구축된 예를 도시한다.
연구자는 제안한 블록체인 기반 분산형 딥러닝 학습 시스템을 연구실 레벨에서 개발하였는데, 노드 장치(111 내지 115)와 상호작용하기 위한 사용자 인터페이스로 Geth, Web3.js 라이브러리, HTML, Remix, Javascript를 사용하였다.
도 3은 블록체인 기반 분산형 딥러닝 학습 시스템의 노드 장치의 동작(300)에 대한 예이다. 도 3은 도 1의 시스템(100)의 구성을 기준으로 설명한다. 도 3의 노드 장치는 도 1의 노드 장치(111 내지 115) 중 어느 하나일 수 있다. 도 3은 노드 장치(111 내지 115)가 가중치 데이터를 업로드하거나, 다운로드하는 내부 컴포넌트의 동작을 설명한다.
노드 장치는 내부에 사용자로부터 업로드 또는 다운로드 요청을 받기 위한 사용자 인터페이스, 해당 요청을 자바스크립트로 전달하는 함수를 포함하는 스마트 컨트랙트, 블록체인과 상호작용하여 로컬 스토리지에 접근하는 이벤트를 담당하는 자바스크립트(업로드 및 다운로드)를 포함할 수 있다.
노드 장치는 사용자 인터페이스를 통해 사용자의 요청을 수신하고, 해당 요청을 확인한다(310). 이때 노드 장치는 사용자의 블록체인 주소 및 비밀번호를 수신할 수 있다. 또한, 노드 장치는 데이터 업로드 요청을 수신할 수도 있다.
노드 장치는 사용자 요청에 따라 스마트 컨트랙트 함수를 호출할 수 있다(320). 노드 장치는 사용자 인터페이스를 이용하여 해당 요청을 스마트 컨트랙트에 전달할 수 있다.
스마트 컨트랙트는 사용자 요청에 따라 자바스크립트 이벤트를 유발한다(330). 스마트 컨트랙트는 사용자 요청이 업로드 요청이면, 업로드 이벤트를 유발하고, 다운로드 요청이면 다운로드 이벤트를 유발한다. 스마트 컨트랙트의 주요 함수는 아래의 표 1과 같을 수 있다. 스마트 컨트랙트 개발에 솔리디티(solidity) 언어를 사용하여 구현할 수 있다.
//read data from my local storage and make it as a transaction
function enterMyData(uint256 node , string file) public {
nodenum = node;
filename = file;
e_DataFileIO("UploadFile", node, file); //Call Javascript event 'UploadFile'
count++;
}

//read data from block and save to my local storage
function getRecentData(){
e_DataFileIO("DownloadFile", node, file); //Call Javascript event 'DownloadFile'
}
업로드 이벤트 경우, 노드 장치는 자바스크립트를 이용하여 로컬 딥러닝 모델로부터 업데이트된 가중치 데이터를 읽고 트랜잭션을 생성할 수 있다. 상기 표 1에서 'enterMydata()' 함수는 스마트 컨트랙트가 파일 업로드를 담당하는 자바스크립트 이벤트를 호출하는 코드를 나타낸다. 현재 노드 장치에서 업데이트된 가중치데이터를 제1 가중치 또는 제1 가중치 데이터라고 명명한다. 노드 장치는 로컬 딥러닝 모델에서 가중치 정보를 파일 형태로 추출할 수 있다.
노드 장치는 업로드 이벤트를 통하여 제1 가중치 데이터를 포함하는 트랜잭션을 생성하여 블록체인 네트워크(150)에 배포한다(350). 노드 장치는 업로드를 위한 정보를 노드 식별자(node num), 파일명(file name), 파일 내용(file data = 가중치)으로 구성되는 구조체 형태로 블록체인 네트워크(150)에 배포할 수 있다. 아래 표 2가 업로드를 위한 정보를 구조화한 예이다.
struct File {
uint256 nodenum; //data sender
string file name; //file name
string filedata; //file data(weights)

}
블록체인 네트워크(150)는 블록체인이 사용하는 합의 알고리즘에 따라 제1 가중치를 포함하는 블록을 생성하여 등록한다(360).
이후, 블록체인 네트워크(150)는 현재 제1 가중치 데이터를 업로드한 노드 장치가 아닌, 다른 노드 장치로부터 새로운 가중치 데이터를 포함하는 트랜잭션을 수신할 수 있다(370). 즉, 다른 노드 장치가 업데이트한 가중치 데이터를 블록체인 네트워크(150)에 배포하는 경우이다. 다른 노드 장치가 업데이트한 가중치 데이터를 제2 가중치 또는 제2 가중치 데이터라고 명명한다. 제2 가중치 데이터는 제1 가중치 데이터가 블록체인 등록된 후 등록된 가중치 데이터라고 전제한다.
제1 가중치 데이터를 업로드한 노드 장치는 블록체인 네트워크(150)에 새롭게 등록된 가중치 데이터(블록)이 있는지 모니터링할 수 있다. 블록체인 네트워크(150)에 새로운 가중치 데이터가 있다면, 노드 장치는 다운로드 요청을 스마트 컨트랙트에 전달하여 자바스크립트로 다운로드 이벤트를 진행할 수 있다. 노드 장치는 다운로드 이벤트를 통하여 블록체인 네트워크(150)로부터 제2 가중치 데이터(블록)를 읽고, 제2 가중치 데이터를 다운로드 할 수 있다(380). 상기 표 1에서 'getRecentData()' 함수는 스마트 컨트랙트가 파일 다운로드를 담당하는 자바스크립트 이벤트를 호출하는 코드를 나타낸다.
물론, 노드 장치는 제2 가중치 데이터를 자신의 로컬 딥러닝 모델에 적용하고, 가중치가 업데이트된 로컬 딥러닝 모델을 이용하여 학습을 계속 할 수 있다.
도 4는 블록체인 기반 분산형 딥러닝 학습 시스템의 노드 장치(400)에 대한 예이다. 노드 장치(400)는 도 1의 노드 장치(111 내지 115)에 해당한다.
노드 장치(400)는 저장 장치(410), 메모리(420), 연산장치(430), 인터페이스 장치(440), 통신 장치(450) 및 출력장치(460)를 포함할 수 있다.
저장 장치(410)는 학습 데이터 및 로컬 딥러닝 모델을 저장할 수 있다.
저장 장치(410)는 사용자가 입력하는 요청 및 명령을 저장할 수도 있다.
저장 장치(410)는 로컬 딥러닝 모델로부터 추출한 가중치 데이터(파일)를 저정할 수 있다.
메모리(420)는 노드 장치(400)가 분산형 딥러닝 학습을 수행하는 과정 또는 가중치를 공유하는 과정에서 발생하는 임시 데이터를 저장할 수 있다.
인터페이스 장치(440)는 사용자 또는 외부 객체로부터 일정한 명령 내지 정보를 입력받는 장치이다. 인터페이스 장치(440)는 사용자의 요청(다운로드 요청 또는 업로드 요청)을 입력받을 수 있다.
인터페이스 장치(440)는 학습 데이터 DB로부터 학습 데이터를 입력받을 수도 있다.
인터페이스 장치(440)는 내부에 있는 로컬 딥러닝 모델로부터 가중치 데이터를 수신할 수도 있다.
인터페이스 장치(440)는 가중치 데이터를 외부 블록체인 네트워크에 전달할 수 있다.
인터페이스 장치(440)는 가중치 데이터를 외부 블록체인 네트워크로부터 입력받을 수도 있다.
인터페이스 장치(440)는 최종적으로 학습이 완료된 로컬 딥러닝 모델을 외부 객체에 전달할 수 있다. 또는 인터페이스 장치(440)는 최종적으로 학습이 완료된 로컬 딥러닝 모델의 가중치를 외부 객체에 전달할 수 있다.
통신 장치(450)는 네트워크를 통해 일정한 정보를 수신하고 전송하는 구성을 의미한다.
통신 장치(450)는 사용자의 요청(다운로드 요청 또는 업로드 요청)을 수신할 수 있다.
통신 장치(450)는 학습 데이터 DB로부터 학습 데이터를 수신할 수 있다.
통신 장치(450)는 가중치 데이터(트랜잭션)를 외부 블록체인 네트워크에 송신할 수 있다.
통신 장치(450)는 가중치 데이터(블록)를 외부 블록체인 네트워크로부터 수신할 수 있다.
통신 장치(450)는 최종적으로 학습이 완료된 로컬 딥러닝 모델을 외부 객체에 송신할 수 있다. 또는 통신 장치(450)는 최종적으로 학습이 완료된 로컬 딥러닝 모델의 가중치를 외부 객체에 송신할 수 있다.
연산 장치(430)는 학습 데이터를 이용하여 로컬 딥러닝 모델을 학습하는 과정을 수행할 수 있다.
연산 장치(430)는 로컬 딥러닝 모델로부터서 업데이트된 가중치 데이터를 추출할 수 있다.
연산 장치(430)는 새로운 가중치 데이터를 로컬 딥러닝 모델에 적용하여 로컬 딥러닝 모델을 업데이트할 수 있다.
연산 장치(430)는 업데이트된 로컬 딥러닝 모델과 학습 데이터를 이용하여 로컬 딥러닝 모델을 학습하는 과정을 수행할 수 있다.
연산 장치(430)는 데이터를 처리하고, 일정한 연산을 처리하는 프로세서, AP, 프로그램이 임베디드된 칩과 같은 장치일 수 있다.
출력 장치(460)는 딥러닝 모델 학습 과정, 가중치 공유(업로드 및 다운로드) 과정에 필요한 인터페이스 화면을 출력할 수 있다.
또한, 상술한 바와 같은 분산형 딥러닝 학습 시스템의 동작 방법, 분산형 딥러닝 학습 시스템의 가중치 공유 방법 및 노드 장치의 동작 방법은 컴퓨터에서 실행될 수 있는 실행가능한 알고리즘을 포함하는 프로그램(또는 어플리케이션)으로 구현될 수 있다. 상기 프로그램은 일시적 또는 비일시적 판독 가능 매체(non-transitory computer readable medium)에 저장되어 제공될 수 있다.
비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 어플리케이션 또는 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM (read-only memory), PROM (programmable read only memory), EPROM(Erasable PROM, EPROM) 또는 EEPROM(Electrically EPROM) 또는 플래시 메모리 등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다.
일시적 판독 가능 매체는 스태틱 램(Static RAM，SRAM), 다이내믹 램(Dynamic RAM，DRAM), 싱크로너스 디램 (Synchronous DRAM，SDRAM), 2배속 SDRAM(Double Data Rate SDRAM，DDR SDRAM), 증강형 SDRAM(Enhanced SDRAM，ESDRAM), 동기화 DRAM(Synclink DRAM，SLDRAM) 및 직접 램버스 램(Direct Rambus RAM，DRRAM) 과 같은 다양한 RAM을 의미한다.
본 실시례 및 본 명세서에 첨부된 도면은 전술한 기술에 포함되는 기술적 사상의 일부를 명확하게 나타내고 있는 것에 불과하며, 전술한 기술의 명세서 및 도면에 포함된 기술적 사상의 범위 내에서 당업자가 용이하게 유추할 수 있는 변형 예와 구체적인 실시례는 모두 전술한 기술의 권리범위에 포함되는 것이 자명하다고 할 것이다.

Claims (11)

  1. 분산형 학습에 참여하는 복수의 노드들 각각이 서로 다른 학습 데이터를 할당받는 단계;
    상기 복수의 노드들 중 어느 하나의 노드가 자신에게 할당된 학습 데이터를 기준으로 로컬 딥러닝 모델을 학습하여 상기 로컬 딥러닝 모델의 가중치 데이터를 업데이트하는 단계;
    상기 어느 하나의 노드가 상기 업데이트된 가중치 데이터를 블록체인에 배포하는 단계;
    상기 복수의 노드들 중 상기 어느 하나의 노드를 제외한 나머지 노드들 중 적어도 하나의 노드가 상기 블록체인으로부터 상기 업데이트된 가중치 데이터를 수신하는 단계; 및
    상기 적어도 하나의 노드가 상기 업데이트된 가중치 데이터를 자신의 로컬 딥러닝 모델에 적용하는 단계를 포함하되,
    상기 배포하는 단계에서 상기 어느 하나의 노드는 사용자의 블록체인 주소, 비밀번호 및 업로드 요청을 입력받아 제1 스마트 컨트랙트에 전달하고, 상기 제1 스마트 컨트랙트는 업로드 이벤트를 호출하여 상기 어느 하나의 노드의 로컬 딥러닝 모델로부터 상기 업데이트된 가중치 데이터를 읽고, 노드 식별자 및 상기 업데이트된 가중치 데이터를 트랜잭션으로 상기 블록체인에 배포하고,
    상기 수신하는 단계에서 상기 적어도 하나의 노드는 상기 블록체인에 등록되는 가중치 데이터를 확인하여 새로운 가중치 데이터가 있는 경우, 다운로드 요청을 제2 스마트 컨트랙트에 전달하고, 상기 제2 스마트 컨트랙트는 상기 블록체인에 등록되어 있는 가장 최근의 가중치 데이터를 상기 적어도 하나의 노드의 저장매체에 다운로드하는 분산형 딥러닝 학습 시스템의 블록체인 기반 가중치 관리 방법.
  2. 제1항에 있어서,
    상기 복수의 노드들은 상기 블록체인에 참여하는 노드들인 분산형 딥러닝 학습 시스템의 블록체인 기반 가중치 관리 방법.
  3. 삭제
  4. 삭제
  5. 삭제
  6. 서로 다른 학습 데이터를 할당받아 분산형 딥러닝 학습을 하는 복수의 노드들; 및
    블록체인 네트워크를 포함하되,
    상기 복수의 노드들 중 어느 하나 노드는 자신의 로컬 딥러닝 모델의 가중치 데이터가 업데이트되는 경우, 상기 업데이트된 가중치 데이터를 상기 블록체인 네트워크에 배포하고,
    상기 복수의 노드들 중 상기 어느 하나의 노드를 제외한 나머지 노드들 중 적어도 하나의 노드가 상기 블록체인 네트워크로부터 수신한 상기 업데이트된 가중치 데이터를 자신의 로컬 딥러닝 모델에 적용하여 학습하고,
    상기 어느 하나의 노드는 사용자의 블록체인 주소, 비밀번호 및 업로드 요청을 입력받아 제1 스마트 컨트랙트에 전달하고, 상기 제1 스마트 컨트랙트는 업로드 이벤트를 호출하여 상기 어느 하나의 노드의 로컬 딥러닝 모델로부터 상기 업데이트된 가중치 데이터를 읽고, 노드 식별자 및 상기 업데이트된 가중치 데이터를 트랜잭션으로 상기 블록체인 네트워크에 배포하고,
    상기 적어도 하나의 노드는 상기 블록체인 네트워크에 등록되는 가중치 데이터를 확인하여 새로운 가중치 데이터가 있는 경우, 다운로드 요청을 제2 스마트 컨트랙트에 전달하고, 상기 제2 스마트 컨트랙트는 상기 블록체인 네트워크에 등록되어 있는 가장 최근의 가중치 데이터를 상기 적어도 하나의 노드의 저장매체에 다운로드하는 블록체인 기반으로 가중치를 공유하는 분산형 딥러닝 학습 시스템.
  7. 삭제
  8. 삭제
  9. 학습 데이터 및 로컬 딥러닝 모델을 저장하는 저장장치;
    상기 로컬 딥러닝 모델의 제1 가중치 데이터에 대한 업로드 요청 및 다른 노드 장치의 제2 가중치 데이터에 대한 다운로드 요청을 입력받는 인터페이스 장치;
    상기 업로드 요청에 따라 상기 제1 가중치 데이터를 블록체인 네트워크에 전송하고, 상기 다운로드 요청에 따라 상기 제2 가중치 데이터를 상기 블록체인 네트워크로부터 수신하는 통신장치; 및
    상기 학습 데이터를 이용하여 상기 로컬 딥러닝 모델을 학습하면서 상기 제1 가중치 데이터를 업데이트하고, 상기 업데이트된 제1 가중치 데이터 이후에 상기 블록체인에 새롭게 등록된 상기 제2 가중치 데이터가 있는 경우, 상기 로컬 딥러닝 모델에 상기 제2 가중치 데이터를 적용하여 학습을 하는 연산장치를 포함하되,
    상기 학습 데이터 및 상기 다른 노드 장치의 학습 데이터는 서로 다른 데이터이고,
    상기 저장 장치는 상기 업로드 요청을 처리하는 제1 스마트 컨트랙트를 더 저장하고, 상기 업로드 요청이 있는 경우 상기 연산장치는 상기 제1 스마트 컨트랙트를 이용하여 상기 로컬 딥러닝 모델로부터 상기 제1 가중치 데이터를 읽고, 노드 식별자 및 상기 제1 가중치 데이터를 트랜잭션으로 생성하고,
    상기 저장 장치는 상기 다운로드 요청을 처리하는 제2 스마트 컨트랙트를 더 저장하고, 상기 다운로드 요청이 있는 경우 상기 연산장치는 상기 제2 스마트 컨트랙트를 이용하여 상기 블록체인 네트워크에 등록되어 있는 최근의 가중치 데이터인 상기 제2 가중치 데이터를 포함하는 블록을 읽고, 상기 제2 가중치 데이터를 상기 로컬 딥러닝 모델에 적용하는 분산형 딥러닝 학습 시스템의 노드 장치.
  10. 삭제
  11. 삭제
KR1020210026063A 2021-02-26 2021-02-26 분산형 딥러닝 학습 시스템의 블록체인 기반 가중치 관리 방법, 분산형 딥러닝 학습 시스템 및 노드 장치 KR102497336B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210026063A KR102497336B1 (ko) 2021-02-26 2021-02-26 분산형 딥러닝 학습 시스템의 블록체인 기반 가중치 관리 방법, 분산형 딥러닝 학습 시스템 및 노드 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210026063A KR102497336B1 (ko) 2021-02-26 2021-02-26 분산형 딥러닝 학습 시스템의 블록체인 기반 가중치 관리 방법, 분산형 딥러닝 학습 시스템 및 노드 장치

Publications (2)

Publication Number Publication Date
KR20220121992A KR20220121992A (ko) 2022-09-02
KR102497336B1 true KR102497336B1 (ko) 2023-02-06

Family

ID=83280715

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210026063A KR102497336B1 (ko) 2021-02-26 2021-02-26 분산형 딥러닝 학습 시스템의 블록체인 기반 가중치 관리 방법, 분산형 딥러닝 학습 시스템 및 노드 장치

Country Status (1)

Country Link
KR (1) KR102497336B1 (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102215978B1 (ko) * 2019-09-17 2021-02-16 주식회사 라인웍스 블록체인망 상 비동기 분산 병렬형 앙상블 모델 학습 및 추론 시스템 및 그 방법

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11244243B2 (en) 2018-01-19 2022-02-08 Hypernet Labs, Inc. Coordinated learning using distributed average consensus
KR20200071834A (ko) * 2018-12-03 2020-06-22 한국전자통신연구원 블록체인 기반 시각 검색 서비스 제공 장치 및 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102215978B1 (ko) * 2019-09-17 2021-02-16 주식회사 라인웍스 블록체인망 상 비동기 분산 병렬형 앙상블 모델 학습 및 추론 시스템 및 그 방법

Also Published As

Publication number Publication date
KR20220121992A (ko) 2022-09-02

Similar Documents

Publication Publication Date Title
US20210216495A1 (en) Parameter server and method for sharing distributed deep learning parameter using the same
EP3564873B1 (en) System and method of decentralized machine learning using blockchain
US11740891B2 (en) Providing access to a hybrid application offline
JP6638024B2 (ja) システム、スマートコントラクトのライフサイクルの管理方法、及び非一時的コンピュータ可読媒体
US10423445B2 (en) Composing and executing workflows made up of functional pluggable building blocks
CN102436441B (zh) 同步在线文档编辑
US10754869B2 (en) Managing data format of data received from devices in an internet of things network
CN111901294A (zh) 一种构建在线机器学习项目的方法及机器学习系统
KR20180069819A (ko) 비주얼 콘텐츠 개발
US20150006608A1 (en) Networked solutions integration using a cloud business object broker
US20150019490A1 (en) Optimistic Concurrency Utilizing Distributed Constraint Enforcement
US20120323851A1 (en) Distributed, asynchronous and fault-tolerant storage system
CN108287894B (zh) 数据处理方法、装置、计算设备及存储介质
US20090077262A1 (en) System and method for synchronization between servers
US11687921B2 (en) Method and device for control of blockchain data access based on smart contract
CN102281312B (zh) 一种数据加载方法、系统和数据处理方法、系统
WO2016023372A1 (zh) 数据存储处理方法及装置
AU2012393588B2 (en) Managing inferred data
KR102497336B1 (ko) 분산형 딥러닝 학습 시스템의 블록체인 기반 가중치 관리 방법, 분산형 딥러닝 학습 시스템 및 노드 장치
CN114244898A (zh) 基于服务网格的工作负载预热方法及装置
CN108805587A (zh) 一种客户信息处理方法、装置、介质和电子设备
CN114547055A (zh) 一种数据处理方法及装置
CN114201462A (zh) 表格数据的同步方法、装置、计算机设备和存储介质
CN112579343B (zh) 区块链节点数据的恢复方法及装置
US7979393B2 (en) Multiphase topology-wide code modifications for peer-to-peer systems

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant