KR102402314B1 - 엣지 네트워크를 위한 연합 학습 방법 - Google Patents

엣지 네트워크를 위한 연합 학습 방법 Download PDF

Info

Publication number
KR102402314B1
KR102402314B1 KR1020210170497A KR20210170497A KR102402314B1 KR 102402314 B1 KR102402314 B1 KR 102402314B1 KR 1020210170497 A KR1020210170497 A KR 1020210170497A KR 20210170497 A KR20210170497 A KR 20210170497A KR 102402314 B1 KR102402314 B1 KR 102402314B1
Authority
KR
South Korea
Prior art keywords
learning
task
federated
determining
edge network
Prior art date
Application number
KR1020210170497A
Other languages
English (en)
Inventor
이현석
Original Assignee
세종대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 세종대학교산학협력단 filed Critical 세종대학교산학협력단
Priority to KR1020210170497A priority Critical patent/KR102402314B1/ko
Application granted granted Critical
Publication of KR102402314B1 publication Critical patent/KR102402314B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/2866—Architectures; Arrangements
    • H04L67/288—Distributed intermediate devices, i.e. intermediate devices for interaction with other intermediate devices on the same level

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

엣지 네트워크를 위한 연합 학습 방법이 개시된다. 개시된 연합 학습 방법은 적어도 하나의 엣지 네트워크에서 수행되는 작업중에서, 학습 작업을 결정하는 단계; 상기 엣지 네트워크 중에서, 상기 학습 작업을 위한 연합 학습에 참여할 학습 엣지 네트워크를 결정하는 단계; 및 상기 학습 엣지 네트워크로부터 학습 파라미터를 수신하는 단계를 포함한다.

Description

엣지 네트워크를 위한 연합 학습 방법{FEDERATED LEARNING METHOD FOR EDGE NETWORK}
본 발명은 엣지 네트워크를 위한 연합 학습 방법에 관한 것이다.
연합 학습(federated learning) 기술은 중앙 서버와 분산적 기기들에 공통의 학습 모델을 마련해놓고, 분산적 기기들이 각자의 로컬 데이터를 활용하여 자신의 로컬 학습 모델을 각자 학습하는 기술이다. 이후 분산적 기기들이 중앙 서버로 데이터를 직접적으로 전송하는 대신에 로컬 학습 모델을 전송하면, 중앙 서버가 분산적 기기들로부터 전송 받은 로컬 학습 모델들을 취합하여 글로벌 학습 모델을 업데이트한다. 이 같은 과정을 통해, 훈련 데이터를 직접적으로 전송하지 않고, 학습 모델의 학습 파라미터 정보만을 전송하여 학습이 이루어짐으로써, 통신 비용 및 개인정보보호 문제를 해결하면서도, 각 분산적 기기에서 획득하는 데이터를 모두 활용하여 학습을 진행한 것과 유사한 효과를 기대할 수 있다.
연합 학습은 미리 설정된 개수의 라운드 별로 진행되며, 라운드 별로 연합 학습에 참여할 디바이스가 선택된다. 연합 학습에 참여하는 디바이스는 서버부터 전송된 로컬 학습 모델을 학습하고, 라운드 별로 로컬 학습 모델의 학습 파라미터를 서버로 전송한다. 여기서, 학습 파라미터는, 가중치, 그래디언트 등 학습을 통해 획득된 파라미터를 포함한다.
이러한 연합 학습 기술을 구현하기 위해, 하나의 액세스 포인트(access point, AP)와 다수의 단말로 이루어진, 무선 네트워크가 일반적으로 많이 고려되고 있으며, 특히 엣지 네트워크는 서로 공통적인 작업 예컨대, 자원 할당 스케줄링, 데이터 수집 스케줄링 등을 수행하기 때문에 연합 학습이 수행되기에 적합한 환경의 네트워크이다.
관련 선행문헌으로 특허 문헌인 대한민국 공개특허 제2021-0077654호, 제2021-0097955호가 있다.
본 발명은 학습 효율을 높이기 위해, 학습을 수행할 작업을 선택하는 연합 학습 방법을 제공하기 위한 것이다.
또한 본 발명은 엣지 네트워크에서 공통적으로 적용될 수 있는 단일 정책 모델을 이용하는, 연합 학습 방법을 제공하기 위한 것이다.
상기한 목적을 달성하기 위한 본 발명의 일 실시예에 따르면, 적어도 하나의 엣지 네트워크에서 수행되는 작업중에서, 학습 작업을 결정하는 단계; 상기 엣지 네트워크 중에서, 상기 학습 작업을 위한 연합 학습에 참여할 학습 엣지 네트워크를 결정하는 단계; 및 상기 학습 엣지 네트워크로부터 학습 파라미터를 수신하는 단계를 포함하는 엣지 네트워크를 위한 연합 학습 방법이 제공된다.
또한 상기한 목적을 달성하기 위한 본 발명의 다른 실시예에 따르면, 적어도 하나의 단말에서 수행되는 작업중에서, 학습 작업을 결정하는 단계; 상기 단말 중에서, 상기 학습 작업을 위한 연합 학습에 참여할 학습 단말을 결정하는 단계; 및 상기 학습 단말로부터 학습 파라미터를 수신하는 단계를 포함하는 연합 학습 방법이 제공된다.
본 발명의 일실시예에 따르면, 엣지 네트워크의 학습 참여 편차가 크지 않도록 학습 작업을 선택함으로써, 전체 학습 작업에 대한 일정 수준 이상의 학습 효율이 보장될 수 있다.
또한 본 발명의 일실시예에 따르면, 엣지 네트워크에서 공통적으로 적용될 수 있는 단일 정책 모델을 이용함으로써, 학습 효율이 향상될 수 있다.
도 1은 본 발명의 일실시예에 따른 엣지 네트워크를 포함하느 클라우드 네트워크를 도시하는 도면이다.
도 2는 본 발명의 일실시예에 따른 엣지 네트워크를 위한 연합 학습 방법을 설명하기 위한 도면이다.
도 3은 본 발명의 다른 실시예에 따른 엣지 네트워크를 위한 연합 학습 방법을 설명하기 위한 도면이다.
도 4는 본 발명의 일실시예에 따른 연합 학습 방법의 성능을 나타내는 도면이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
엣지 네트워크를 포함하는 클라우드 네트워크의 엣지 네트워크에서 수행되는 여러 작업들은, 연합 학습 방법을 통해 학습될 수 있다. 예컨대, 자원 할당 스케줄링이라는 작업을 학습하기 위해서, 클라우드 서버는 엣지 네트워크로 로컬 학습 모델을 전송하고, 엣지 네트워크는 자원 할당 스케줄링을 수행하면서 획득된 훈련 데이터를 이용하여 로컬 학습 모델을 학습할 수 있다. 이 때, 학습은 엣지 네트워크의 액세스 포인트에서 수행될 수 있다.
학습 대상인 작업 별로, 그리고 라운드 별로 연합 학습에 참여하는 엣지 네트워크의 개수는, 네트워크의 가용 자원이나, 엣지 네트워크에서 수행된 작업의 종류에 따라 달라질 수 있다. 따라서, 네트워크 환경에 따라서, 특정 작업의 연합 학습에 참여하는 엣지 네트워크의 평균 개수는 매우 많고, 또 다른 작업의 연합 학습에 참여하는 엣지 네트워크의 평균 개수는 매우 적을 수 있다. 연합 학습에 참여하는 엣지 네트워크가 적은 경우, 해당 작업에 대한 학습 효율은 낮아지므로, 연합 학습에 참여하는 엣지 네트워크의 평균 개수의 차이는 작업별 학습 효율에 불균형을 초래한다.
이에 본 발명은 작업별로 연합 학습에 참여하는 엣지 네트워크의 평균 개수의 편차가 적도록, 연합 학습을 위한 작업을 선택하는 방법을 제안한다.
한편, 엣지 네트워크에서 수행되는 작업을 학습하기 위해, 강화 학습 기반의 학습 모델이 이용될 수 있다. 강화 학습은, 보상이 최대가 되도록 행동을 선택하는 정책을 학습하는 학습 방법으로서, 엣지 네트워크는 강화 학습을 통해 최적의 작업을 수행하는 정책을 학습할 수 있다.
엣지 네트워크별로 단말 수, 환경 등 네트워크 특성이 다르기 때문에 서로 다른 정책 모델이 이용될 수 밖에 없으며, 이는 클라우드 서버가 서로 다른 엣지 네트워크의 학습 파라미터를 취합하여 글로벌 모델을 업데이트하는데 장애가 된다. 따라서, 엣지 네트워크의 작업을 위한 보다 효율적인 학습을 위해서는, 엣지 네트워크에 공통적으로 적용될 수 있는 정책 모델이 필요하며, 본 발명은 메타 학습 기반으로 생성된 공통 정책 모델을 이용하는 연합 학습 방법을 제안한다.
이하에서, 본 발명에 따른 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 일실시예에 따른 엣지 네트워크를 포함하느 클라우드 네트워크를 도시하는 도면이다.
클라우드 서버(110)는 엣지 네트워크(edge network)로 로컬 학습 모델을 전송하고, 엣지 네트워크는 로컬 학습 모델에 대한 학습을 수행한 후, 학습 파라미터를 클라우드 서버(110)로 전송한다. 로컬 학습 모델은 엣지 네트워크의 액세스 포인트로 전송되며, 액세스 포인트는 디바이스에 대한 스케줄링 작업 등을 통해 획득한 데이터를 이용하여, 학습을 수행한다.
클라우드 네트워크에 포함된 엣지 네트워크들은 라운드마다 참여 가능 여부를 클라우드 서버(110)로 전송하며, 클라우드 서버(110)는 라운드 별로 연합 학습에 참여할 엣지 네트워크를 결정한다. 이 때, 클라우드 서버(110)는 연합 학습을 수행할 학습 작업(Task)을 결정하고, 결정된 학습 작업의 연합 학습에 참여할 엣지 네트워크를 결정한다.
클라우드 서버(110)는, 클라우드 서버(110)의 가용 자원, 학습 작업 각각에 대한 엣지 네트워크의 평균 참여 개수, 작업에 대한 훈련 데이터 획득 여부, 엣지 네트워크의 가용 자원 등을 고려하여 연합 학습을 수행할 학습 작업을 결정할 수 있다. 여기서, 엣지 네트워크의 평균 참여 개수란, 학습 작업에 대한 총 라운드 개수와, 라운드별로 학습 작업에 참여한 엣지 네트워크의 총 개수에 대한 비율에 대응된다. 예컨대 특정 학습 작업에서 3개의 라운드가 진행되었으며, 제1라운드에 1개, 제2라운드에 3개, 제3라운드에 2개의 엣지 네트워크가 학습 작업에 참여하였다면, 해당 학습 작업에 대한 평균 참여 개수는 2가 된다.
한편, 로컬 학습 모델은 DQN(Deep Q-Network) 모델과 같은 강화 학습 기반의 모델일 수 있으며, 학습 작업별로 다를 수 있다.
학습 작업별로 단일 정책 모델 즉, 학습 작업의 연합 학습에 참여한 엣지 네트워크에 공통적으로 적용되는 정책 모델이 메타 학습 기반으로 생성되고, 클라우드 서버(110)는 이러한 단일 정책 모델을 포함하는 강화 학습 모델을 엣지 네트워크로 전송할 수 있다.
강화 학습에서 다루는 의사결정 문제에서, 일반적으로 상태(state)와 행동(action)에 대한 정의는, 각 엣지 네트워크 내에 있는 단말(IoT 디바이스)의 개수와 특성 등에 기반하므로, 엣지 네트워크마다 학습하는 정책 모델이 달라지게 된다. 따라서 전술된 바와 같이, 효율적인 연합 학습을 위해서는 여러 엣지 네트워크에서 동일하게 사용 가능한 정책 모델이 요구된다.
예를 들어, 엣지 네트워크에서 특정 목적(무선 통신 스케줄링 등)을 위해, 액세스 포인트가 단말을 선택하는 문제에서, 엣지 네트워크의 상태 정보는 일반적으로 각 단말의 특징 정보(채널, 버퍼 등)의 벡터 형태로 주어진다. 예컨대, 상태 정보를 나타내는 특징 정보가 2개인 경우, 단말 개수가 N1개인 엣지 네트워크의 상태 정보는 2N1차원의 벡터로 상태가 정의되며, 단말 개수가 N2개인 엣지 네트워크의 상태 정보는 2N2 차원의 벡터로 상태가 정의된다. 그리고 어떤 단말을 선택할지를 표현하는 액션 또한, 각 단말의 ID를 나타내는 1부터 N1사이의 정수와, 1부터 N2사이의 정수로 주어질 수 있다.
이와 같은 경우 엣지 네트워크의 환경 특징에 따라 학습을 진행하는 정책 모델의 상태 및 행동 공간에 차이가 발생하게 되며, 이로 인해 각 엣지 네트워크에서 정책 모델에 대한 연합 학습을 진행하기 어려운 문제가 발생한다. 따라서 본 발명의 일실시예는 엣지 네트워크에서의 환경 특징과 관계없이 공통적으로 활용될 수 있는 단일 정책 모델을 연합 학습에 활용한다.
이를 위해 메타 학습(meta learning)이 이용될 수 있다. 메타 학습이란, 학습 방법을 알려주는 학습 방법으로서, 현재까지 획득된 훈련 데이터를 기반으로, 이전에 경험하지 못한 환경 혹은 작업을 학습하는 기법이다. 엣지 네트워크 별로 획득되는 훈련 데이터가 다르기 때문에, 클라우드 서버(110)는 메타 학습을 이용하여, 연합 학습에 참여할 엣지 네트워크에 공통적으로 적용되는 단일 정책 모델을 생성할 수 있다.
메타 학습은, 시스템의 특성과 관계없이 해당 시스템의 상태와 동작 정보를 표현하는 방식으로 이루어질 수 있기 때문에, 클라우드 서버(110)는 메타 학습의 이러한 학습 방식에 따라, 엣지 네트워크의 환경, 예컨대, 사용자 수, 사용자 요구 서비스 품질 등에 관계없이 엣지 네트워크 환경과 작업을 위한 동작을 표현할 수 있는 정책 모델을 생성할 수 있다.
도 2는 본 발명의 일실시예에 따른 엣지 네트워크를 위한 연합 학습 방법을 설명하기 위한 도면이다.
본 발명의 일실시예에 따른 클라우드 서버는 적어도 하나의 엣지 네트워크에서 수행되는 작업중에서, 학습 작업을 결정(S210)하고, 엣지 네트워크 중에서, 학습 작업을 위한 연합 학습에 참여할 학습 엣지 네트워크를 결정(S220)한다. 그리고 학습 엣지 네트워크에서 학습이 이루어진 후, 학습 엣지 네트워크로부터 학습 파라미터를 수신(S230)한다.
단계 S210에서 클라우드 서버는 일실시예로서 작업에 대한 훈련 데이터 획득 여부 또는 엣지 네트워크의 가용 자원을 이용하여, 학습 작업을 결정할 수 있다. 예컨대 엣지 네트워크들이 제1작업을 수행하지 않은 상태라면, 제1작업에 대한 훈련 데이터가 획득되지 못하므로, 클라우드 서버는 제1작업이 아닌 훈련 데이터가 획득된 제2작업 또는 제3작업을 학습 작업으로 결정할 수 있다. 또한 제2작업에 대한 훈련 데이터를 획득한 액세스 포인트의 가용자원이 충분하지 않은 경우, 클라우드 서버는, 가용 자원이 충분한 액세스 포인트가 수행한 제3작업을 학습 작업으로 결정할 수 있다.
또는 클라우드 서버는 일실시예로서, 학습 작업 각각에 대한 학습 엣지 네트워크의 평균 참여 개수가 공평하도록, 학습 작업을 결정할 수 있다. 다시 말해 전술된 바와 같이, 클라우드 서버는 학습 작업 각각에 대한 평균 참여 개수의 편차가 적도록, 학습 작업을 결정할 수 있다.
이를 위해 클라우드 서버는 [수학식 1]과 같이 표현되는 목적 함수를 이용하여, 라운드 별로 연합 학습의 대상인 학습 작업을 결정할 수 있다. 이러한 목적 함수를 통해 클라우드의 한정된 자원과, 평균 참여 개수에 대한 요구 조건인 최소 평균 참여 개수를 만족시키고 또한, 평균 참여 개수가 공평하도록, 학습 작업이 결정될 수 있다.
Figure 112021139655781-pat00001
여기서, r은 라운드, l은 작업,
Figure 112021139655781-pat00002
은 작업 l에 대한 유틸리티 함수, B는 클라우드의 가용 네트워크 대역폭, O는 클라우드의 가용 메모리 사용량, C는 클라우드의 가용 컴퓨팅 자원,
Figure 112021139655781-pat00003
은 작업 l에 대한 최소 평균 참여 개수,
Figure 112021139655781-pat00004
는 작업 l에 대한 평균 참여 개수,
Figure 112021139655781-pat00005
은 라운드별 작업 l에 대한 연합 학습 참여 가능 엣지 네트워크의 개수,
Figure 112021139655781-pat00006
은 작업 l에 대한 요구 네트워크 대역폭,
Figure 112021139655781-pat00007
은 작업 l에 대한 요구 메모리 사용량,
Figure 112021139655781-pat00008
은 작업 l에 대한 요구 컴퓨팅 자원,
Figure 112021139655781-pat00009
은 학습 작업 지시자,
Figure 112021139655781-pat00010
은 학습 작업 지시자의 백터를 나타낸다. 학습 작업 지시자는 학습 작업, 즉 연합 학습의 대상인 작업을 나타내는 지시자로서, 라운드 r에서 작업 l이 학습 작업으로 선택된 경우 1, 그렇지 못한 경우 0으로 정의된다.
목적 함수의 유틸리티 함수가 어떻게 정의되느냐에 따라서, 다양한 형태로 공평성이 보장될 수 있다. 일실시예로서 유틸리티 함수는 로그 함수(log) 또는 작업별로 서로 다른 가중치(wl)가 적용된 로그 함수(wllog)로 정의될 수 있다. 로그 함수가 유틸리티 함수로 정의될 경우, 학습 작업별 평균 참여 개수의 차이가 비례적으로 결정될 수 있으며, 작업별 가중치가 적용된 로그 함수가 유틸리티 함수로 정의될 경우, 학습 작업별 평균 참여 개수의 차이가 작업별 가중치에 따라 조절될 수 있다. 유틸리티 함수의 선택에 의해, 학습 작업별 평균 참여 개수의 편차가 달라질 수 있다.
전술된 목적 함수로부터 학습 작업 즉, 작업별 학습 작업 지시자를 결정하기 위해, 작업별로 서로 다르게 할당되는 제1가중치 및 작업별 최소 평균 참여 횟수에 할당되는 제2가중치를 이용할 수 있다. 클라우드 서버는 라그랑주(Lagrange) 기법과 stochastic subgradient 알고리즘을 이용할 수 있으며, 일실시예로서 [수학식 2]를 이용할 수 있다.
Figure 112021139655781-pat00011
여기서,
Figure 112021139655781-pat00012
및
Figure 112021139655781-pat00013
은 매 라운드마다 업데이트되는 라그랑주 승수(Lagrangian multiplier)로서, 각각 전술된 제1 및 제2가중치에 대응된다. 그리고 식(1), (2), (3)은 [수학식 1]의
Figure 112021139655781-pat00014
,
Figure 112021139655781-pat00015
,
Figure 112021139655781-pat00016
를 나타낸다.
그리고
Figure 112021139655781-pat00017
및
Figure 112021139655781-pat00018
은 [수학식 3] 및 [수학식 4]와 같이 업데이트된다.
Figure 112021139655781-pat00019
Figure 112021139655781-pat00020
여기서,
Figure 112021139655781-pat00021
는
Figure 112021139655781-pat00022
를 나태내며,
Figure 112021139655781-pat00023
은 라운드 r에서의 스텝 사이즈(step-size)를 나타낸다.
도 3은 본 발명의 다른 실시예에 따른 엣지 네트워크를 위한 연합 학습 방법을 설명하기 위한 도면이다.
학습 엣지 네트워크의 연합 학습을 위해 클라우드 서버는 로컬 학습 모델을 학습 엣지 네트워크로 전송하며, 로컬 학습 모델은 일실시예로서 강화 학습 모델일 수 있다. 이 때, 강화 학습 모델은 메타 학습 기반으로 생성된 모델일 수 있으며, 학습 작업별로 학습 엣지 네트워크에 공통적으로 적용되는 정책 모델을 포함할 수 있다.
도 3에 도시된 바와 같이, 정책 모델은 학습 엣지 네트워크의 상태 또는 행동을 나타내는 제1값이 행에 대응되고 상태 또는 행동을 나타내는 제2값이 열에 대응되는 격자 모델(310)을 포함하며, 학습 엣지 네트워크의 상태 또는 행동은, 격자 모델(310)에 포함된 적어도 하나의 격자에 대응될 수 있다. 즉, 클라우드 서버는, 학습 엣지 네트워크의 상태 또는 행동이 일반적인 벡터 형식으로 표현되는 정책 모델을 이용하지 않고, 격자 모델(310)을 통해 학습 엣지 네트워크의 상태 또는 행동이 정의되는 정책 모델을 이용하여, 연합 학습을 수행할 수 있다. 격자 모델(310)을 통해 학습 엣지 네트워크의 상태 또는 행동이 정의되는 정책 모델은, 학습 엣지 네트워크의 상태 또는 행동이 엣지 네트워크의 특성과 무관하게 동일한 형식으로 표현될 수 있기 때문에, 학습 엣지 네트워크에 공통적으로 적용될 수 있다.
일예로서 도 3에 도시된 바와 같이, 학습 엣지 네트워크의 상태를 나타내는 단말(IoT Dev)의 특징 정보(s1, s2)가 2개로 주어진 경우, 학습 엣지 네트워크의 상태를 백터 형식의 테이블(320)로 표현하면, 학습 엣지 네트워크에 포함된 단말의 개수에 따라서, 학습 엣지 네트워크 별로 테이블(320)이 달라지게 된다. 학습 엣지 네트워크에 포함된 단말의 개수가 4개가 아닌 3개나 5개가 되면, 단말의 개수가 4개인 경우에 대응되는 도 3에 도시된 테이블(320)의 행은, 짧아지거나 길어진다.
반면, 본 발명의 일실시예에 따른 격자 모델(310)을 이용할 경우, 단말의 개수에 무관하게, 학습 엣지 네트워크의 상태 또는 행동이 동일한 구조의 격자 모델(310)로 표현될 수 있다. 도 3에서, 격자 모델(310)의 행 및 열에 할당된 제1 및 제2값은 단말의 특징 정보일 수 있으며, 이러한 특징 정보가 0에서 0.3, 0.3에서 0.7, 0.7에서 1 범위로 분할되어, 격자 모델의 행 및 열에 할당되어 있다. 그리고 테이블(320)에 표현된 단말의 특징 정보는, 격자 모델의 격자에 대응됨을 알 수 있다. 예컨대, 제1단말의 특징 정보는 0.2 및 0.1이며, 이는 격자 모델의 첫번째 격자(311)에 대응된다. 그리고 제4단말의 특징 정보는 0.9 및 0.9이며, 이는 격자 모델의 아홉번째 격자(319)에 대응된다. 학습 엣지 네트워크에 포함된 단말의 개수가 달라질 경우에도, 격자 모델(310)을 통해 모든 단말의 특징 정보가 격자 중 하나에 매칭될 수 있으므로, 단말의 개수에 무관하게, 서로 다른 학습 엣지 네트워크의 상태 또는 행동이, 동일한 구조의 격자 모델(310)로 표현될 수 있다.
결국, 본 발명의 일실시예에 따르면, 학습 엣지 네트워크의 상태 또는 행동이 동일한 구조로 표현되는 정책 모델을 이용함으로서, 학습 엣지 네트워크의 특성과 무관하게 학습 엣지 네트워크에 단일의 정책 모델을 적용할 수 있다.
도 4는 본 발명의 일실시예에 따른 연합 학습 방법의 성능을 나타내는 도면으로서, 학습 방법별로 모든 작업에 대한 총 보상을 더한 값을 나타내는 도면이다.
도 4에서 No-FL은 연합 학습 방법이 고려되지 않은 학습 방법의 성능을 나타내며, FL-Greedy, FL-RR은 각각 greedy 스케쥴링 기법, 라운드 로빈 스케쥴링 기법에 기반한 연합 학습 방법의 성능을 나타낸다. 그리고 FL-PF는 본 발명의 일실시예에 따른 연합 학습 방법의 성능을 나타내며, Bench는 모든 엣지 네트워크가 연합 학습에 참여하는 이상적인 연합 학습 방법의 성능을 나타낸다.
도 4에 도시된 바와 같이, 본 발명의 일실시예에 따른 학습 방법의 성능이, 이상적인 학습 방법의 성능과 가장 유사함을 알 수 있다.
한편, 본 발명의 일실시예에 따른 연합 학습 방법은, 엣지 네트워크를 포함하는 네트워크 뿐만 아니라, 일반적인 무선 네트워크 환경에도 적용될 수 있다.
이 경우, 무서 네트워크의 서버는, 적어도 하나의 단말에서 수행되는 작업중에서, 학습 작업을 결정하고, 단말 중에서, 학습 작업을 위한 연합 학습에 참여할 학습 단말을 결정한다. 그리고 학습 단말에서 학습이 수행된 후, 학습 단말로부터 학습 파라미터를 수신한다.
서버는 전술된 실시예와 같이, 작업에 대한 훈련 데이터 획득 여부 또는 단말의 가용 자원을 이용하여, 학습 작업을 결정하거나, 학습 작업 각각에 대한 학습 단말의 평균 참여 개수가 공평하도록, 학습 작업을 결정할 수 있다.
앞서 설명한 기술적 내용들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예들을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 하드웨어 장치는 실시예들의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.

Claims (11)

  1. 클라우드 서버에 의해 구현되는 연합 학습 방법에 있어서,
    적어도 하나의 엣지 네트워크에서 수행되는 작업중에서, 상기 작업에 대한 훈련 데이터 획득 여부를 이용하여, 학습 작업을 결정하는 단계;
    상기 엣지 네트워크 중에서, 상기 학습 작업을 위한 연합 학습에 참여할 학습 엣지 네트워크를 결정하는 단계; 및
    상기 학습 엣지 네트워크로부터 학습 파라미터를 수신하는 단계
    를 포함하는 엣지 네트워크를 위한 연합 학습 방법.
  2. 제 1항에 있어서,
    상기 학습 작업을 결정하는 단계는
    상기 엣지 네트워크의 가용 자원을 이용하여, 상기 학습 작업을 결정하는
    엣지 네트워크를 위한 연합 학습 방법.
  3. 제 1항에 있어서,
    상기 학습 작업을 결정하는 단계는
    상기 학습 작업 각각에 대한 상기 학습 엣지 네트워크의 평균 참여 개수가 공평하도록, 상기 학습 작업을 결정하는
    엣지 네트워크를 위한 연합 학습 방법.
  4. 제 3항에 있어서,
    상기 학습 작업을 결정하는 단계는
    라운드 별로, 하기 수학식으로 표현되는 목적 함수를 이용하여, 상기 학습 작업을 결정하는
    엣지 네트워크를 위한 연합 학습 방법.
    [수학식]
    Figure 112021139655781-pat00024

    여기서, r은 라운드, l은 작업,
    Figure 112021139655781-pat00025
    은 작업 l에 대한 유틸리티 함수, B는 클라우드의 가용 네트워크 대역폭, O는 클라우드의 가용 메모리 사용량, C는 클라우드의 가용 컴퓨팅 자원,
    Figure 112021139655781-pat00026
    은 작업 l에 대한 최소 평균 참여 개수,
    Figure 112021139655781-pat00027
    는 작업 l에 대한 평균 참여 개수,
    Figure 112021139655781-pat00028
    은 라운드별 작업 l에 대한 연합 학습 참여 가능 엣지 네트워크의 개수,
    Figure 112021139655781-pat00029
    은 작업 l에 대한 요구 네트워크 대역폭,
    Figure 112021139655781-pat00030
    은 작업 l에 대한 요구 메모리 사용량,
    Figure 112021139655781-pat00031
    은 작업 l에 대한 요구 컴퓨팅 자원,
    Figure 112021139655781-pat00032
    은 학습 작업 지시자를 나타냄.
  5. 제 4항에 있어서,
    상기 학습 작업을 결정하는 단계는
    상기 작업별로 서로 다르게 할당되는 제1가중치 및 상기 작업별 최소 평균 참여 횟수에 할당되는 제2가중치를 이용하여, 상기 학습 작업을 결정하는
    엣지 네트워크를 위한 연합 학습 방법.
  6. 제 1항에 있어서,
    상기 연합 학습을 위한 로컬 학습 모델을 상기 학습 엣지 네트워크로 전송하는 단계를 더 포함하며,
    상기 로컬 학습 모델은 강화 학습 모델인
    엣지 네트워크를 위한 연합 학습 방법.
  7. 제 6항에 있어서,
    상기 강화 학습 모델은
    메타 학습 기반으로 생성되며, 상기 학습 작업별로 상기 학습 엣지 네트워크에 공통적으로 적용되는 정책 모델
    을 포함하는 엣지 네트워크를 위한 연합 학습 방법.
  8. 제 7항에 있어서,
    상기 정책 모델은
    상기 학습 엣지 네트워크의 상태 또는 행동을 나타내는 제1값이 행에 대응되고 상기 상태 또는 행동을 나타내는 제2값이 열에 대응되는 격자 모델을 포함하며,
    상기 상태 또는 행동은
    상기 격자 모델에 포함된 적어도 하나의 격자에 대응되는
    엣지 네트워크를 위한 연합 학습 방법.
  9. 클라우드 서버에 의해 구현되는 연합 학습 방법에 있어서,
    적어도 하나의 단말에서 수행되는 작업중에서, 상기 작업에 대한 훈련 데이터 획득 여부를 이용하여, 학습 작업을 결정하는 단계;
    상기 단말 중에서, 상기 학습 작업을 위한 연합 학습에 참여할 학습 단말을 결정하는 단계; 및
    상기 학습 단말로부터 학습 파라미터를 수신하는 단계
    를 포함하는 연합 학습 방법.
  10. 제 9항에 있어서,
    상기 학습 작업을 결정하는 단계는
    상기 단말의 가용 자원을 이용하여, 상기 학습 작업을 결정하는
    연합 학습 방법.
  11. 제 9항에 있어서,
    상기 학습 작업을 결정하는 단계는
    상기 학습 작업 각각에 대한 상기 학습 단말의 평균 참여 개수가 공평하도록, 상기 학습 작업을 결정하는
    연합 학습 방법.
KR1020210170497A 2021-12-02 2021-12-02 엣지 네트워크를 위한 연합 학습 방법 KR102402314B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210170497A KR102402314B1 (ko) 2021-12-02 2021-12-02 엣지 네트워크를 위한 연합 학습 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210170497A KR102402314B1 (ko) 2021-12-02 2021-12-02 엣지 네트워크를 위한 연합 학습 방법

Publications (1)

Publication Number Publication Date
KR102402314B1 true KR102402314B1 (ko) 2022-05-25

Family

ID=81800617

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210170497A KR102402314B1 (ko) 2021-12-02 2021-12-02 엣지 네트워크를 위한 연합 학습 방법

Country Status (1)

Country Link
KR (1) KR102402314B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115242796A (zh) * 2022-06-15 2022-10-25 西安电子科技大学 一种面向云-边-端场景的任务调度方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190096872A (ko) * 2019-07-31 2019-08-20 엘지전자 주식회사 연합학습(Federated　learning)을　통한　필기체　인식방법 및 이를 위한 장치
KR20210032521A (ko) * 2018-07-30 2021-03-24 데이터로봇, 인크. 데이터 세트들에 대한 머신 학습 모델들의 적합성 결정

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210032521A (ko) * 2018-07-30 2021-03-24 데이터로봇, 인크. 데이터 세트들에 대한 머신 학습 모델들의 적합성 결정
KR20190096872A (ko) * 2019-07-31 2019-08-20 엘지전자 주식회사 연합학습(Federated　learning)을　통한　필기체　인식방법 및 이를 위한 장치

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"Client Selection for Federated Learning with Heterogeneous Resources in Mobile Edge", arXiv:1804.08333v2 [cs.NI], 2018. *
"연합 학습의 성능 향상에 관한 연구", 2020년도 한국통신학회 동계종합학술발표회(pp. 837-838), 2020.* *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115242796A (zh) * 2022-06-15 2022-10-25 西安电子科技大学 一种面向云-边-端场景的任务调度方法
CN115242796B (zh) * 2022-06-15 2024-02-20 西安电子科技大学 一种面向云-边-端场景的任务调度方法

Similar Documents

Publication Publication Date Title
Han et al. Slice as an evolutionary service: Genetic optimization for inter-slice resource management in 5G networks
Kasgari et al. Experienced deep reinforcement learning with generative adversarial networks (GANs) for model-free ultra reliable low latency communication
US11528720B2 (en) Method and apparatus for facilitating resource pairing using a deep Q-network
CN107547154B (zh) 一种建立视频流量预测模型的方法及装置
CN113498508A (zh) 动态网络配置
US20190266019A1 (en) Task Scheduling Using Improved Weighted Round Robin Techniques
KR102402314B1 (ko) 엣지 네트워크를 위한 연합 학습 방법
CN113824489A (zh) 基于深度学习的卫星网络资源动态分配方法、系统及装置
Ekman Machine learning for beam based mobility optimization in NR
CN113849302A (zh) 任务执行方法及装置、存储介质及电子装置
Lee et al. Resource allocation in wireless networks with federated learning: Network adaptability and learning acceleration
US20230105719A1 (en) Method of performing communication load balancing with multi-teacher reinforcement learning, and an apparatus for the same
KR102413116B1 (ko) 인공 신경망의 계층 특성에 기반한 연합 학습 방법
Pinheiro et al. Performance and data traffic analysis of mobile cloud environments
US11736225B2 (en) Packet scheduler
CN110035126A (zh) 一种文件处理方法、装置、计算设备及存储介质
KR20190127480A (ko) 통신 시스템에서 전송 포인트 및 링크 적응 방식을 결정하기 위한 방법 및 장치
Balieiro et al. An evolutionary scheme for secondary virtual networks mapping onto cognitive radio substrate
US20220051135A1 (en) Load balancing using data-efficient learning
WO2022253454A2 (en) Dimensioning of telecommunication infrastructure
WO2022002347A1 (en) Training in communication systems
CN111258743A (zh) 基于离散编码的云任务调度方法、装置、设备及存储介质
KR102508071B1 (ko) 강화 학습 기반의 빔포밍 훈련 방법 및 장치
CN104053188B (zh) 用于利用排序硬件协处理器的媒体接入控制调度的装置
JP2018085682A (ja) スケジューリング装置および方法

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant