KR102428989B1 - 연합 증류 기법의 적용을 위한 통신 프로토콜을 가진 무선 엣지 학습 시스템 및 방법 - Google Patents

연합 증류 기법의 적용을 위한 통신 프로토콜을 가진 무선 엣지 학습 시스템 및 방법 Download PDF

Info

Publication number
KR102428989B1
KR102428989B1 KR1020210035273A KR20210035273A KR102428989B1 KR 102428989 B1 KR102428989 B1 KR 102428989B1 KR 1020210035273 A KR1020210035273 A KR 1020210035273A KR 20210035273 A KR20210035273 A KR 20210035273A KR 102428989 B1 KR102428989 B1 KR 102428989B1
Authority
KR
South Korea
Prior art keywords
parameter server
edge
edge devices
learning
technique
Prior art date
Application number
KR1020210035273A
Other languages
English (en)
Other versions
KR20220071848A (ko
Inventor
강준혁
안진현
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Publication of KR20220071848A publication Critical patent/KR20220071848A/ko
Application granted granted Critical
Publication of KR102428989B1 publication Critical patent/KR102428989B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B17/00—Monitoring; Testing
    • H04B17/30—Monitoring; Testing of propagation channels
    • H04B17/309—Measuring or estimating channel quality parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B17/00—Monitoring; Testing
    • H04B17/30—Monitoring; Testing of propagation channels
    • H04B17/391—Modelling the propagation channel
    • H04B17/3911—Fading models or fading generators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W16/00—Network planning, e.g. coverage or traffic planning tools; Network deployment, e.g. resource partitioning or cells structures
    • H04W16/22—Traffic simulation tools or models

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Evolutionary Computation (AREA)
  • Electromagnetism (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Quality & Reliability (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

본 발명은 연합 증류 기법의 적용을 위한 무선 엣지 학습 시스템 및 방법에 관한 것으로, 엣지 디바이스들의 채널 정보를 획득하고, 채널 정보와 기설정된 송신 파워를 바탕으로 엣지 디바이스들 각각으로부터의 수신 파워를 계산하고, 계산된 수신 파워 중에서 가장 작은 값과 기설정된 기준 수신 파워와 비교하고, 비교 결과에 따라 엣지 디바이스들과 파라미터 서버 간의 학습 정보를 송수신 통신을 아날로그 통신 기법 또는 디지털 통신 기법으로 선택하고, 선택된 통신 기법을 엣지 디바이스들로 브로드캐스팅하는 파라미터 서버 및 브로드캐스팅을 통해서 선택된 통신 기법을 수신하면, 할당된 학습 데이터 셋으로 학습하고 제1 개수의 레이블 별로 아웃풋 벡터를 생성하고, 엣지 디바이스에서 선택된 통신 기법으로 제1 개수의 아웃풋 벡터를 파라미터 서버로 송신하는 엣지 디바이스들을 포함한다.

Description

연합 증류 기법의 적용을 위한 통신 프로토콜을 가진 무선 엣지 학습 시스템 및 방법{WIRELESS EDGE LEARNING SYSTEM AND METHOD WITH COMMUNICATION PROTOCOL FOR WIRELESS IMPLEMENTATION OF FEDERATED}
이하의 일 실시 예들은 무선 통신 시스템에서 기계 학습의 협력적 동작을 위한 송수신 기법 및 그 장치에 관한 것으로, 보다 구체적으로, 잡음 및 페이딩(fading)을 고려한 통신환경에서 연합 학습의 일종인 연합 증류의 적용을 위한 송수신 기법 및 그 장치에 관한 것이다.
분산 학습을 위한 협력적 기계학습 기법은 기본적으로 각 디바이스의 로컬 그래디언트(local gradients) 나 로컬 모델 파라미터(parameter)의 교환으로 이루어진다. 이러한 기법은 연합 학습(Federated Learning)이라고 불린다. 연합 학습 적용 시, 모델 파라미터의 큰 차원으로 인해 지나친 통신 오버헤드가 생길 수 있다. 이를 극복하기 위해 여러 기법들이 제시되고 있지만, 최근 효과적으로 송수신 데이터의 차원을 줄일 수 있는 연합 증류(Federated Distillation)이 제시되었다. 연합 증류는, 각 디바이스에서 계산된 모델 파라미터를 교환하는 대신에, 평균 모델 아웃풋을 교환하여 협력적 학습은 꾀하지만 통신 오버헤드를 크게 줄일 수 있다. 예를 들어서 0부터 9까지 레이블을 나타내는 MNIST 이미지를 분류하는 모델을 협력적으로 학습할 시에, 각 디바이스는 레이블 별로 평균적으로 어떤 아웃풋을 나타내는지를 서로 교환한다. 이를 바탕으로 다른 디바이스가 갖고 있는 학습 정보를 습득하여 독립적으로 학습할 때보다 높은 학습 성능을 갖을 수 있다.
연합 학습을 무선 통신 환경에서 구현하고자 하는 연구와 이를 위해 제시되는 송수신 기법들은 기존에 수차례 있어왔다. 그 연구 및 발명의 핵심은 제한된 통신 자원을 가정하는 무선 통신 환경에서 큰 차원의 모델 파라미터를 중앙 파라미터 서버에게 어떻게 업로드하는 것이었다. 이를 위해서, 기존의 연구들 및 발명에서는 데이터 압축과 복원을 적용하는 기술이 핵심적으로 발명된 바 있다. 더 나아가서, 파라미터 서버가 각 모델 파라미터를 개별적으로 알 필요가 없는 연합 학습의 특징을 기반으로 한 아날로그 통신 기법 적용에 대한 연구 및 발명이 진행되어 왔다. 아날로그 통신 기법이 적용될 시에, 각 디바이스는 모델 파라미터를 비트로 보내지 않고, 심볼마다 하나의 파라미터 값을 보내게 된다. 여러 디바이스가 동기화가 되어 동시 송신하게 된다면, 신호의 중첩 원리에 따라 합쳐진 파라미터 값을 수신할 수 있게 된다. 수신한 파라미터 서버는 디바이스 개수로 평균 값을 얻을 수 있고 이 값을 기반으로 연합 학습을 진행할 수 있다. 설명한 다중 접속 방식을 AirComp라고 하는데, 아날로그 통신 기법을 통해 구현 가능해진다. 이렇게 되면 기존의 디지털 통신에서 각 디바이스에 직교 통신 자원을 분배해야 하는 것과 다르게 디바이스 수와 상관없이 자원을 사용할 수 있어서 효율적인 통신 자원의 이용이 가능해진다.
하지만, 분산 학습 방법 중에서 연합 증류 기법의 경우, 연합 학습보다 파라미터 서버로 송신하는 데이터의 양이 상대적으로 적기 때문에 단순하게 기존의 아날로그 통신 기법을 이용해서 데이터를 송신하는 것은 효율적이지 못하다.
따라서, 무선 엣지 학습 시스템과 같은 무선 통신 환경에서 잡음과 통신 채널에 따라 적합한 통신 기법을 적용하는 방법이 요구된다.
본 발명은 연합 증류 기법의 적용을 위한 통신 프로토콜을 가진 무선 엣지 학습 시스템 및 방법을 제공하는 것을 목적으로 한다.
본 발명의 일 실시 예에 따른 연합 증류 기법의 적용을 위한 무선 엣지 학습 방법은, 파라미터 서버에서 엣지 디바이스들의 채널 정보를 획득하는 단계; 상기 파라미터 서버에서 상기 채널 정보와 기설정된 송신 파워를 바탕으로 엣지 디바이스들 각각으로부터의 수신 파워를 계산하는 단계; 상기 파라미터 서버에서 계산된 수신 파워 중에서 가장 작은 값과 기설정된 기준 수신 파워와 비교하는 단계; 상기 파라미터 서버에서 비교 결과에 따라 상기 엣지 디바이스들과 상기 파라미터 서버 간의 학습 정보를 송수신 통신을 아날로그 통신 기법 또는 디지털 통신 기법으로 선택하는 단계; 및 상기 파라미터 서버에서 선택된 통신 기법을 상기 엣지 디바이스들로 브로드캐스팅(broadcasting)하는 단계를 포함한다.
이때, 상기 파라미터 서버에서 비교 결과에 따라 상기 엣지 디바이스들과 상기 파라미터 서버 간의 학습 정보를 송수신 통신을 아날로그 통신 기법 또는 디지털 통신 기법으로 선택하는 단계는, 상기 계산된 수신 파워 중에서 가장 작은 값이 상기 기설정된 기준 수신 파워보다 작으면, 상기 엣지 디바이스들과 상기 파라미터 서버 간의 학습 정보를 송수신 통신을 상기 아날로그 통신 기법으로 설정하는 단계; 및 상기 계산된 수신 파워 중에서 가장 작은 값이 상기 기설정된 기준 수신 파워보다 그거나 같으면, 상기 엣지 디바이스들과 상기 파라미터 서버 간의 학습 정보를 송수신 통신을 상기 디지털 통신 기법으로 설정하는 단계를 포함할 수 있다.
이때, 상기 디지털 통신 기법은, 상기 엣지 디바이스들 각각이 크기 순으로 기설정된 개수의 원소들만 송신하는 로컬 탑-케이 송신 기법을 이용할 수 있다.
이때, 상기 아날로그 통신 기법은, 다중 접속 방식을 이용해서 상기 엣지 디바이스들 각각에서 동시에 아웃풋 벡터를 반복해서 송신하는 반복 코딩 기법을 이용할 수 있다.
이때, 연합 증류 기법의 적용을 위한 무선 엣지 학습 방법은, 상기 파라미터 서버에서 상기 엣지 디바이스들 각각으로부터 제1 개수의 아웃풋 벡터를 수신하는 단계; 상기 파라미터 서버에서 상기 엣지 디바이스들로부터 각각으로부터 수신한 상기 제1 개수의 아웃풋 벡터를 상기 엣지 디바이스들의 개수로 평균을 계산하여 제1 개수의 글로벌 아웃풋 벡터를 계산하는 단계; 및 상기 파라미터 서버에서 상기 제1 개수의 글로벌 아웃풋 벡터를 상기 엣지 디바이스들로 송신하는 단계를 더 포함하고, 상기 제1 개수는 학습하는 데이터 셋의 레이블의 기설정된 개수 일 수 있다.
이때, 상기 파라미터 서버에서 상기 제1 개수의 글로벌 아웃풋 벡터를 상기 엣지 디바이스들로 송신하는 단계는, 상기 파라미터 서버에서 상기 엣지 디바이스들의 채널 정보를 획득하는 단계; 상기 파라미터 서버에서 상기 채널 정보를 바탕으로 상기 엣지 디바이스들 각각의 수신 파워를 계산하는 단계; 상기 파라미터 서버에서 계산된 상기 엣지 디바이스들 각각의 수신 파워 중에서 가장 작은 값과 기설정된 기준 수신 파워와 비교하는 단계; 상기 파라미터 서버에서 상기 엣지 디바이스들 각각의 수신 파워 중에서 가장 작은 값과 상기 기설정된 기준 수신 파워와 비교한 결과에 따라 아날로그 통신 기법 또는 디지털 통신 기법으로 선택하는 단계; 및 상기 파라미터 서버에서 상기 제1 개수의 글로벌 아웃풋 벡터를 송신하기 위해서 선택된 통신 기법을 브로드캐스팅하는 단계; 및 상기 파라미터 서버에서 기 제1 개수의 글로벌 아웃풋 벡터를 송신하기 위해서 선택된 통신 기법으로 상기 파라미터 서버에서 선택된 통신 기법으로 상기 제1 개수의 글로벌 아웃풋 벡터를 상기 엣지 디바이스들로 송신하는 단계를 포함할 수 있다.
이때, 연합 증류 기법의 적용을 위한 무선 엣지 학습 방법은, 엣지 디바이스에서 브로드캐스팅을 통해서 상기 선택된 통신 기법을 수신하는 단계; 상기 엣지 디바이스에서 할당된 학습 데이터 셋으로 학습하고 제1 개수의 레이블 별로 아웃풋 벡터를 생성하는 단계; 및 상기 엣지 디바이스에서 상기 선택된 통신 기법으로 상기 제1 개수의 아웃풋 벡터를 상기 파라미터 서버로 송신하는 단계를 더 포함하고, 상기 제1 개수는 학습하는 데이터 셋의 레이블의 기설정된 개수일 수 있다.
이때, 연합 증류 기법의 적용을 위한 무선 엣지 학습 방법은, 상기 엣지 디바이스에서 상기 파라미터 서버로부터 제1 개수의 글로벌 아웃풋 벡터를 수신하는 단계; 및 상기 엣지 디바이스에서 상기 제1 개수의 글로벌 아웃풋 벡터를 학습 조정에 이용하여 다른 엣지 디바이스의 학습 정보를 반영하는 단계를 더 포함할 수 있다.
이때, 상기 엣지 디바이스에서 상기 선택된 통신 기법으로 상기 제1 개수의 아웃풋 벡터를 상기 파라미터 서버로 송신하는 단계는, 상기 선택된 통신 기법이 디지털 송신 기법이면 상기 제1 개수의 아웃풋 벡터 각각에 포함된 제1 개수의 원소 중에서 값이 큰 순서로 제2 개수의 원소만을 선택하여 상기 파라미터 서버로 송신하고, 상기 선택된 통신 기법이 아날로그 송신 기법이면 각각 제1 개수의 원소를 포함하는 상기 제1 개수의 아웃풋 벡터를 다중 접속 방식을 이용해서 다른 엣지 디바이스와 동시에 상기 파라미터 서버로 상기 엣지 디바이스와 상기 파라미터 서버 간의 통신 채널이 허용하는 범위에서 반복해서 송신하고, 상기 제2 개수는 상기 제1 개수 보다 작은 기설정된 개수 일 수 있다.
본 발명의 일 실시 예에 따른 엣지 디바이스들과 파라미터 서버를 포함하는 무선 엣지 학습 시스템에 있어서, 상기 엣지 디바이스들의 채널 정보를 획득하고, 상기 채널 정보와 기설정된 송신 파워를 바탕으로 엣지 디바이스들 각각으로부터의 수신 파워를 계산하고, 계산된 수신 파워 중에서 가장 작은 값과 기설정된 기준 수신 파워와 비교하고, 비교 결과에 따라 상기 엣지 디바이스들과 상기 파라미터 서버 간의 학습 정보를 송수신 통신을 아날로그 통신 기법 또는 디지털 통신 기법으로 선택하고, 선택된 통신 기법을 상기 엣지 디바이스들로 브로드캐스팅하는 상기 파라미터 서버; 및 브로드캐스팅을 통해서 상기 선택된 통신 기법을 수신하면, 할당된 학습 데이터 셋으로 학습하고 제1 개수의 레이블 별로 아웃풋 벡터를 생성하고, 상기 엣지 디바이스에서 상기 선택된 통신 기법으로 제1 개수의 아웃풋 벡터를 상기 파라미터 서버로 송신하는 상기 엣지 디바이스들을 포함하고, 상기 제1 개수는 학습하는 데이터 셋의 레이블의 기설정된 개수 이다.
이때, 상기 파라미터 서버는, 상기 아날로그 통신 기법 또는 상기 디지털 통신 기법으로 선택할 때, 상기 계산된 수신 파워 중에서 가장 작은 값이 상기 기설정된 기준 수신 파워보다 작으면, 상기 엣지 디바이스들과 상기 파라미터 서버 간의 학습 정보를 송수신 통신을 상기 아날로그 통신 기법으로 설정하고, 상기 계산된 수신 파워 중에서 가장 작은 값이 상기 기설정된 기준 수신 파워보다 그거나 같으면, 상기 엣지 디바이스들과 상기 파라미터 서버 간의 학습 정보를 송수신 통신을 상기 디지털 통신 기법으로 설정할 수 있다.
이때, 상기 디지털 통신 기법은, 상기 엣지 디바이스들 각각이 크기 순으로 기설정된 개수의 원소들만 송신하는 로컬 탑-케이 송신 기법을 이용할 수 있다.
이때, 상기 아날로그 통신 기법은, 다중 접속 방식을 이용해서 상기 엣지 디바이스들 각각에서 동시에 아웃풋 벡터를 반복해서 송신하는 반복 코딩 기법을 이용할 수 있다.
이때, 상기 파라미터 서버는, 상기 엣지 디바이스들 각각으로부터 상기 제1 개수의 아웃풋 벡터를 수신하면, 상기 제1 개수의 아웃풋 벡터를 상기 엣지 디바이스들의 개수로 평균을 계산하여 제1 개수의 글로벌 아웃풋 벡터를 계산하고, 상기 제1 개수의 글로벌 아웃풋 벡터를 상기 엣지 디바이스들로 송신할 수 있다.
이때, 상기 파라미터 서버는, 상기 제1 개수의 글로벌 아웃풋 벡터를 상기 엣지 디바이스들로 송신할 때, 상기 엣지 디바이스들의 상기 채널 정보를 획득하고, 상기 채널 정보를 바탕으로 상기 엣지 디바이스들 각각의 수신 파워를 계산하고, 상기 엣지 디바이스들 각각의 수신 파워 중에서 가장 작은 값과 기설정된 기준 수신 파워와 비교하고, 상기 엣지 디바이스들 각각의 수신 파워 중에서 가장 작은 값과 상기 기설정된 기준 수신 파워와 비교한 결과에 따라 아날로그 통신 기법 또는 디지털 통신 기법으로 선택하고, 상기 제1 개수의 글로벌 아웃풋 벡터를 송신하기 위해서 선택된 통신 기법을 브로드캐스팅하고, 상기 제1 개수의 글로벌 아웃풋 벡터를 송신하기 위해서 선택된 통신 기법으로 상기 제1 개수의 글로벌 아웃풋 벡터를 상기 엣지 디바이스들로 송신할 수 있다.
이때, 상기 엣지 디바이스는, 상기 파라미터 서버로부터 상기 제1 개수의 글로벌 아웃풋 벡터를 수신하면, 상기 제1 개수의 글로벌 아웃풋 벡터를 학습 조정에 이용하여 다른 엣지 디바이스의 학습 정보를 반영할 수 있다.
이때, 상기 엣지 디바이스는, 상기 선택된 통신 기법이 디지털 송신 기법이면 상기 제1 개수의 아웃풋 벡터 각각에 포함된 제1 개수의 원소 중에서 값이 큰 순서로 제2 개수의 원소만을 선택하여 상기 파라미터 서버로 송신하고, 상기 선택된 통신 기법이 아날로그 송신 기법이면 각각 제1 개수의 원소를 포함하는 상기 제1 개수의 아웃풋 벡터를 다중 접속 방식을 이용해서 다른 엣지 디바이스와 동시에 상기 파라미터 서버로 상기 엣지 디바이스와 상기 파라미터 서버 간의 통신 채널이 허용하는 범위에서 반복해서 송신하고, 상기 제2 개수는 상기 제1 개수 보다 작은 기설정된 개수 일 수 있다.
본 발명은 연합 증류를 무선 통신 환경에서 구현하도록 하는 무선 엣지 학습 시스템에 관한 것으로, 페이딩 채널의 채널 상태를 고려한 통신 기법을 제안하여 연합 증류가 실제적인 무선통신 환경에서 효과적으로 구현될 수 있도록 하였다.
도 1은 본 발명의 일 실시 예에 따른 무선 엣지 학습 시스템의 개략적인 구성을 도시한 도면이다.
도 2는 본 발명의 일 실시 예에 따른 무선 엣지 학습 시스템의 파라미터 서버의 구성을 도시한 도면이다.
도 3은 본 발명의 일 실시 예에 따른 무선 엣지 학습 시스템의 엣지 디바이스의 구성을 도시한 도면이다.
도 4는 본 발명의 일 실시 예에 따른 무선 엣지 학습 시스템에서 연합 증류 기법으로 분산 학습하는 과정을 도시한 흐름도이다.
도 5는 본 발명의 일 실시 예에 따른 무선 엣지 학습 시스템의 파라미터 서버에서의 동작 흐름을 도시한 흐름도이다.
도 6은 본 발명의 일 실시 예에 따른 무선 엣지 학습 시스템의 엣지 디바이스에서의 동작 흐름을 도시한 흐름도이다.
도 7은 본 발명의 일 실시 예에 따른 무선 엣지 학습 시스템에서 디지털 통신 기법을 선택할 때 적용하는 로컬 탑-케이 송신 기법의 예를 도시한 흐름도이다.
도 8은 본 발명의 일 실시 예에 따른 무선 엣지 학습 시스템에서 아날로그 통신 기법을 선택할 때 적용하는 반복 코딩 기법의 예를 도시한 흐름도이다.
도 9는 본 발명의 일 실시 예에 따른 송수신 기법이 연합 증류 기법과 연합 학습 기법에 적용될 때의 성능을 비교한 그래프를 도시한 도면이다.
이하에서, 첨부된 도면을 참조하여 실시예들을 상세하게 설명한다. 그러나, 실시예들에는 다양한 변경이 가해질 수 있어서 특허출원의 권리 범위가 이러한 실시예들에 의해 제한되거나 한정되는 것은 아니다. 실시예들에 대한 모든 변경, 균등물 내지 대체물이 권리 범위에 포함되는 것으로 이해되어야 한다.
실시예에서 사용한 용어는 단지 설명을 목적으로 사용된 것으로, 한정하려는 의도로 해석되어서는 안된다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 실시예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 실시예의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
또한, 실시 예의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결되거나 접속될 수 있지만, 각 구성 요소 사이에 또 다른 구성 요소가 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.
어느 하나의 실시 예에 포함된 구성요소와, 공통적인 기능을 포함하는 구성요소는, 다른 실시 예에서 동일한 명칭을 사용하여 설명하기로 한다. 반대되는 기재가 없는 이상, 어느 하나의 실시 예에 기재한 설명은 다른 실시 예에도 적용될 수 있으며, 중복되는 범위에서 구체적인 설명은 생략하기로 한다.
본 발명은 각 통신 기법 별로 장단점이 있음을 고려하여 엣지 디바이스와 파라미터 서버 사이의 통신환경에 따라 어떤 통신 기법을 적용할 지에 대한 알고리즘을 제시한다. 파라미터 서버는 엣지 디바이스와의 채널 상태 정보를 바탕으로 아날로그 통신 기법을 적용할지 디지털 통신 기법을 적용할 지를 결정한다. 선택된 통신 기법으로 엣지 디바이스들은 파라미터 서버로 레이블 별 아웃풋 벡터를 업로드한다.
통신 기법을 선택하는 기준은 통신 시에 크게 두가지 통신 자원을 고려할 수 있는데, 첫 번째로는 각 디바이스가 보낼 수 있는 송신 파워이고, 두번째로는 주파수 자원과 시간 자원을 동시에 고려한 채널 사용 수이다. 채널 사용 수가 고정되어 있을 때 수신 파워가 증가하게 되면 아날로그 통신 기법 적용 시에 에러는 줄지만 보낼 수 있는 정보량이 증가하지 않는다.
다만, 디지털 통신 기법을 적용하면 보낼 수 있는 정보량이 늘게 된다. 따라서, 특정 수신 파워 이상의 경우에는 디지털 통신 기법이 더 유리하고 이하의 경우에는 아날로그 통신 기법이 유리하다.
이 기준이 되는 수신 파워는 채널 사용 수와 함께 고려되어 실험적으로 결정되며 고정된 송신 파워 하에서 채널의 좋고 나쁨에 따라 기준이 되는 수신 파워의 값보다 크거나 작아질 수 있어서 매 글로벌 이터레이션(iteration) 별로 다른 통신 기법이 적용되어 연합 증류를 최적화할 수 있다.
이하에서는, 본 발명의 일 실시 예에 따른 연합 증류 기법의 적용을 위한 통신 프로토콜을 가진 무선 엣지 학습 시스템 및 방법을 첨부된 도 1 내지 도 9를 참조하여 상세히 설명한다.
본 발명에서는 도 1과 같은 무선 엣지 학습 시스템을 고려한다. 엣지 디바이스들은 페이딩 채널을 통해 파라미터 서버와 통신하여 학습 정보를 주고 받는다. 협력 학습 프로토콜은 주어진 글로벌 iteration 횟수 동안 이루어지는데, 각 iteration 동안은 각 디바이스에서의 로컬 트레이닝과, AP를 통한 학습 정보 교환이 이루어진다. 본 발명에서는 기설정된 제1의 개수(L개)의 레이블의 분류 학습 문제를 고려한다.
도 1은 본 발명의 일 실시 예에 따른 무선 엣지 학습 시스템의 개략적인 구성을 도시한 도면이다.
도 1을 참조하면, 무선 엣지 학습 시스템은 파라미터 서버(110)와 엣지 디바이스들(121-124)을 포함하여 구성될 수 있다.
파라미터 서버(110)는 엣지 디바이스들(121-124)의 채널 정보를 획득하고, 채널 정보와 기설정된 송신 파워를 바탕으로 엣지 디바이스들(121-124) 각각으로부터의 수신 파워를 계산하고, 계산된 수신 파워 중에서 가장 작은 값과 기설정된 기준 수신 파워와 비교하고, 비교 결과에 따라 엣지 디바이스들(121-124)과 파라미터 서버(110) 간의 학습 정보를 송수신 통신을 아날로그 통신 기법 또는 디지털 통신 기법으로 선택하고, 선택된 통신 기법을 엣지 디바이스들(121-124)로 브로드캐스팅 한다.
파라미터 서버(110)는 아날로그 통신 기법 또는 디지털 통신 기법으로 선택할 때, 계산된 수신 파워 중에서 가장 작은 값이 기설정된 기준 수신 파워보다 작으면, 엣지 디바이스들(121-124)과 파라미터 서버(110) 간의 학습 정보를 송수신 통신을 아날로그 통신 기법으로 설정하고, 계산된 수신 파워 중에서 가장 작은 값이 기설정된 기준 수신 파워보다 그거나 같으면, 엣지 디바이스들(121-124)과 파라미터 서버(110) 간의 학습 정보를 송수신 통신을 디지털 통신 기법으로 설정한다. 이때, 디지털 통신 기법은 엣지 디바이스들(121-124) 각각이 크기 순으로 기설정된 개수의 원소들만 송신하는 로컬 탑-케이(local top-k) 송신 기법을 이용한다. 그리고, 아날로그 통신 기법은 다중 접속 방식을 이용해서 엣지 디바이스들(121-124) 각각에서 동시에 아웃풋 벡터를 반복해서 송신하는 반복 코딩 기법을 이용한다.
파라미터 서버(110)는 엣지 디바이스들(121-124) 각각으로부터 제1 개수의 아웃풋 벡터를 수신하면, 제1 개수의 아웃풋 벡터를 엣지 디바이스들(121-124)의 개수로 평균을 계산하여 제1 개수의 글로벌 아웃풋 벡터를 계산하고, 제1 개수의 글로벌 아웃풋 벡터를 엣지 디바이스들(121-124)로 송신한다. 이때, 제1 개수는 학습하는 데이터 셋의 레이블의 기설정된 개수이다.
파라미터 서버(110)는 제1 개수의 글로벌 아웃풋 벡터를 엣지 디바이스들(121-124)로 송신할 때, 엣지 디바이스들(121-124)의 채널 정보를 획득하고, 채널 정보를 바탕으로 엣지 디바이스들(121-124) 각각의 수신 파워를 계산하고, 엣지 디바이스들(121-124) 각각의 수신 파워 중에서 가장 작은 값과 기설정된 기준 수신 파워와 비교하고, 엣지 디바이스들(121-124) 각각의 수신 파워 중에서 가장 작은 값과 기설정된 기준 수신 파워와 비교한 결과에 따라 아날로그 통신 기법 또는 디지털 통신 기법으로 선택하고, 제1 개수의 글로벌 아웃풋 벡터를 송신하기 위해서 선택된 통신 기법을 브로드캐스팅하고, 제1 개수의 글로벌 아웃풋 벡터를 송신하기 위해서 선택된 통신 기법으로 제1 개수의 글로벌 아웃풋 벡터를 엣지 디바이스들(121-124)로 송신한다.
엣지 디바이스들(121-124)은 주어진 데이터 셋으로 학습하고, 학습하는 동안에 각 레이블 별로 평균적인 아웃풋 벡터의 값을 저장한다. 이 아웃풋 벡터는 기설정된 제1 개수(L개)의 원소로 이루어져 있는 벡터이다. 엣지 디바이스들(121-124) 각각은 저장된 L개의 아웃풋 벡터를 파라미터 서버(110)로 송신한다. 엣지 디바이스들(121-124)이 파라미터 서버(110)로 송신할 때 엣지 디바이스들(121-124)은 페이딩 업링크 다중 접속 채널을 공유하며 파라미터 서버(110)로부터 수신하는 선텍된 통신 기법을 적용하여 업로드한다.
엣지 디바이스들(121-124)은 선택된 통신 기법이 디지털 송신 기법이면 제1 개수의 아웃풋 벡터 각각에 포함된 제1 개수의 원소 중에서 값이 큰 순서로 제2 개수의 원소만을 선택하여 파라미터 서버(110)로 송신한다.
엣지 디바이스들(121-124)은 선택된 통신 기법이 아날로그 송신 기법이면 각각 제1 개수의 원소를 포함하는 제1 개수의 아웃풋 벡터를 다중 접속 방식을 이용해서 다른 엣지 디바이스와 동시에 파라미터 서버(110)로 엣지 디바이스와 파라미터 서버(110) 간의 통신 채널이 허용하는 범위에서 반복해서 송신한다. 이때, 제2 개수는 제1 개수 보다 작은 기설정된 개수이다.
보다 구체적으로, 샤논(Shannon)의 이론에 따라 주어진 송신 파워 및 채널 정보에 따라 오류없이 수신할 수 있는 비트 수가 정해진다. 이때 송신 해야 하는 정보는 L개(기설정된 제1 개수)의 원소로 이루어져 있는 L개의 아웃풋 벡터이다.
본 발명에서 제안하는 디지털 통신 기법인 로컬 탑-케이(local top-k) 기법에서는 각 레이블에 해당하는 아웃풋 벡터 별로 같은 수의 원소들을 송신한다. 이는 각 레이블 별로 송신되는 아웃풋 벡터의 원소 수를 같게 하여 너무 적은 원소를 송신하는 아웃풋 벡터를 없게 하려 함이다. 따라서 각 아웃풋 벡터 별로 K(기설정된 제2 개수)개의 원소를 송신하게 된다면 총 LK개의 값이 송신되게 된다. 이 값을 송신하기 위해 필요한 비트 수를 계산하고 샤논의 이론에 따라 정해진 비트 수보다 적거나 같은 비트 수를 갖게 하는 최대의 K값을 찾는다. 결과적으로 레이블 별 평균 아웃풋 벡터는 주어진 통신 환경에서 오류 없이 보낼 수 있는 가장 많은 개수의 원소로 압축되게 된다.
엣지 디바이스들(121-124)은 L개(기설정된 제1 개수)의 원소로 이루어져 있는 L개의 아웃풋 벡터(즉, L2의 원소)를 송신해야 하는데 레이블 수인 L이 대개 크지 않고 채널 활용을 디바이스 개수 별로 할당하지 않기 때문에 사용 가능한 채널 활용 수(T)는 보통 L2보다 크다.
따라서, 본 발명에서 제안하는 아날로그 통신 기법인 반복 코딩 기법은 디지털 통신 기법과 같은 압축 기법보다는 반복 코딩 기법을 통해 아날로그 통신에서 필연적으로 발생하는 잡음의 크기를 줄였다.
만약, 사용 가능한 채널 활용 수(T)가 L2보다 작거나, 또는 기설정된 배수 보다 작다면 상술한 디지털 통신 기법을 적용하는 것이 더 바람직할 수 있다.
본 발명의 반복 코딩 기법을 설명하기 위해서 아래와 같은 소스 대역폭 확장 계수 ρ를 정의할 수 있는데, T/L2의 바닥함수로 정의된다. 결과적으로 각 엣지 디바이스는 L2의 원소를 ρ번 반복하는 반복 코딩 기법을 적용하여 아웃풋 벡터들을 송신한다. 이때, 각 엣지 디바이스들(121-124)은 효과적으로 잡음을 완화하기 위해 주어진 송신 파워 하에서 가장 큰 파워 계수를 곱해서 보내는데 파라미터 서버에서 수신 시에 하나의 값으로 나눴을 때 온전한 평균 아웃풋 벡터의 합을 얻기 위해 엣지 디바이스들(121-124)은 같은 파워 계수를 곱해서 보낸다. 이를 위해서 보낼 수 있는 파워 계수가 가장 적은 엣지 디바이스의 파워 계수를 곱해서 보낸다. 이 파워 계수는 채널 정보 및 송신하는 아웃풋 벡터의 크기에 따라 결정된다. 파라미터 서버(110)는 AirComp를 통해 중첩되어 얻게 된 신호를 해당 파워 계수로 나눈 후 반복 코딩을 디코딩 하기 위해서 L2의 원소를 순서대로 ρ번 저장하여 더하고 ρ로 나눠준다. 결과적으로 L2의 원소를 얻되 더해지는 잡음의 평균적인 파워는 ρ로 나눠진 값을 얻을 수 있게 된다.
엣지 디바이스들(121-124) 각각은 브로드캐스팅을 통해서 선택된 통신 기법을 수신하면, 할당된 학습 데이터 셋으로 학습하고 제1 개수의 레이블 별로 아웃풋 벡터를 생성하고, 엣지 디바이스에서 선택된 통신 기법으로 제1 개수의 아웃풋 벡터를 파라미터 서버(110)로 송신한다.
엣지 디바이스들(121-124)은 파라미터 서버(110)로부터 제1 개수의 글로벌 아웃풋 벡터를 수신하면, 제1 개수의 글로벌 아웃풋 벡터를 학습 조정에 이용하여 다른 엣지 디바이스의 학습 정보를 반영한다.
도 2는 본 발명의 일 실시 예에 따른 무선 엣지 학습 시스템의 파라미터 서버의 구성을 도시한 도면이다.
도 2를 참조하면, 파라미터 서버(110)는 제어부(210), 채널 정보 확인부(212), 통신 기법 선택부(214), 평균 계산부(216), 통신부(220) 및 저장부(230)를 포함할 수 있다.
통신부(220)는 수신기(Receiver)와 송신기(transmitter)를 포함하는 통신 인터페이스 장치로서, 통신부(220)는 디지털 통신 기법 또는 아날로그 통신 기법에 따라서 엣지 디바이스들(121-124)과 통신할 수 있다.
저장부(230)는 파라미터 서버(110)의 전반적인 동작을 제어하기 위한 운영체제, 응용 프로그램 및 저장용 데이터를 저장하고, 또한 본 발명에 따라 엣지 디바이스들(121-124) 각각으로 수신하는 각각의 제1 개수의 아웃풋 벡터와 제1 개수의 글로벌 아웃풋 벡터를 저장할 수 있다.
채널 정보 확인부(212)는 엣지 디바이스들(121-124)의 채널 정보를 획득한다.
통신 기법 선택부(214)는 채널 정보와 기설정된 송신 파워를 바탕으로 엣지 디바이스들(121-124) 각각으로부터의 수신 파워를 계산하고, 계산된 수신 파워 중에서 가장 작은 값과 기설정된 기준 수신 파워와 비교하고, 비교 결과에 따라 엣지 디바이스들(121-124)과 파라미터 서버(110) 간의 학습 정보를 송수신 통신을 아날로그 통신 기법 또는 디지털 통신 기법으로 선택하고, 선택된 통신 기법을 엣지 디바이스들(121-124)로 통신부(220)를 통해서 브로드캐스팅 한다.
통신 기법 선택부(214)는 데이터를 수신하는 상향 링크뿐 만 아니라 데이터를 송신하는 하향 링크 에서도 통신 기법을 선택할 수 있다.
통신 기법 선택부(214)는 통신 기법을 선택할 때, 계산된 수신 파워 중에서 가장 작은 값이 기설정된 기준 수신 파워보다 작으면, 엣지 디바이스들(121-124)과 파라미터 서버(110) 간의 학습 정보를 송수신 통신을 아날로그 통신 기법으로 설정하고, 계산된 수신 파워 중에서 가장 작은 값이 기설정된 기준 수신 파워보다 그거나 같으면, 엣지 디바이스들(121-124)과 파라미터 서버(110) 간의 학습 정보를 송수신 통신을 디지털 통신 기법으로 설정한다. 이때, 디지털 통신 기법은 엣지 디바이스들(121-124) 각각이 크기 순으로 기설정된 개수의 원소들만 송신하는 로컬 탑-케이 송신 기법을 이용한다. 그리고, 아날로그 통신 기법은 다중 접속 방식을 이용해서 엣지 디바이스들(121-124) 각각에서 동시에 아웃풋 벡터를 반복해서 송신하는 반복 코딩 기법을 이용한다.
평균 계산부(216)는 엣지 디바이스들(121-124) 각각으로부터 제1 개수의 아웃풋 벡터를 수신하면, 제1 개수의 아웃풋 벡터를 엣지 디바이스들(121-124)의 개수로 평균을 계산하여 제1 개수의 글로벌 아웃풋 벡터를 계산하고, 통신부(220)를 통해서 제1 개수의 글로벌 아웃풋 벡터를 엣지 디바이스들(121-124)로 송신한다. 이때, 제1 개수는 학습하는 데이터 셋의 레이블의 기설정된 개수이다.
또한, 평균 계산부(216)는 제1 개수의 글로벌 아웃풋 벡터를 엣지 디바이스들(121-124)로 송신할 때, 통신 기법 선택부(214)에 의해서 하향 링크에서 선택된 통신 기법을 이용해서 송신할 수 있다.
제어부(210)는 파라미터 서버(110)의 전반적인 동작을 제어할 수 있다. 그리고, 제어부(210)는 채널 정보 확인부(212), 통신 기법 선택부(214) 및 평균 계산부(216)의 기능을 수행할 수 있다. 제어부(210), 채널 정보 확인부(212), 통신 기법 선택부(214) 및 평균 계산부(216)를 구분하여 도시한 것은 각 기능들을 구별하여 설명하기 위함이다. 따라서 제어부(210)는 채널 정보 확인부(212), 통신 기법 선택부(214) 및 평균 계산부(216) 각각의 기능을 수행하도록 구성된(configured) 적어도 하나의 프로세서를 포함할 수 있다. 또한, 제어부(210)는 채널 정보 확인부(212), 통신 기법 선택부(214) 및 평균 계산부(216) 각각의 기능 중 일부를 수행하도록 구성된(configured) 적어도 하나의 프로세서를 포함할 수 있다.
도 3은 본 발명의 일 실시 예에 따른 무선 엣지 학습 시스템의 엣지 디바이스의 구성을 도시한 도면이다.
도 3을 참조하면, 엣지 디바이스(121)는 제어부(310), 통신 기법 확인부(312), 학습부(314), 조정부(316), 통신부(320) 및 저장부(330)를 포함할 수 있다.
통신부(320)는 수신기(Receiver)와 송신기(transmitter)를 포함하는 통신 인터페이스 장치로서, 통신부(320)는 디지털 통신 기법 또는 아날로그 통신 기법에 파라미터 서버(110)과 통신할 수 있다.
저장부(330)는 엣지 디바이스(121)의 전반적인 동작을 제어하기 위한 운영체제, 응용 프로그램 및 저장용 데이터를 저장하고, 또한 본 발명에 따라 할당된 학습 데이터 셋, 학습으로 생성된 제1 개수의 아웃풋 벡터, 파라미터 서버(110)로부터 수신된 제1 개수의 글로벌 아웃풋 벡터 및 제1 개수의 글로벌 아웃풋 벡터를 이용하여 조정된 학습 데이터를 저장할 수 있다.
통신 기법 확인부(312)는 파라미터 서버(110)에 의해서 선택된 통신 기법을 확인한다. 이때, 선택된 통신 기법은 디지털 통신 기법 이거나 아날로그 통신 기법 일 수 있다. 그리고, 디지털 통신 기법은 엣지 디바이스들(121-124) 각각이 크기 순으로 기설정된 개수의 원소들만 송신하는 로컬 탑-케이 송신 기법을 이용할 수 있다. 그리고, 아날로그 통신 기법은 다중 접속 방식을 이용해서 엣지 디바이스들(121-124) 각각에서 동시에 아웃풋 벡터를 반복해서 송신하는 반복 코딩 기법을 이용할 수 있다.
학습부(314)는 각각은 브로드캐스팅을 통해서 선택된 통신 기법을 수신하면, 할당된 학습 데이터 셋으로 학습하고 제1 개수의 레이블 별로 아웃풋 벡터를 생성하고, 엣지 디바이스에서 선택된 통신 기법으로 제1 개수의 아웃풋 벡터를 통신부(220)를 통해서 파라미터 서버(110)로 송신한다.
학습부(314)는 선택된 통신 기법이 디지털 송신 기법이면 제1 개수의 아웃풋 벡터 각각에 포함된 제1 개수의 원소 중에서 값이 큰 순서로 제2 개수의 원소만을 선택하여 파라미터 서버(110)로 송신한다. 이때, 제2 개수는 제1 개수 보다 작은 기설정된 개수이다.
도 7은 본 발명의 일 실시 예에 따른 무선 엣지 학습 시스템에서 디지털 통신 기법을 선택할 때 적용하는 로컬 탑-케이 송신 기법의 예를 도시한 흐름도이다.
도 7을 참조하면, 하나의 레이블에 포함된 원소의 수가 9개이고 제2 개수가 4개 일 때, 최초의 원소 중에서 1.2, 3, 0.1, 9, 7, 0.8, 1, 3, 6.3 그 값이 큰 순서대로 4개의 원소(3, 9, 7, 6.3)만을 포함하는 아웃풋 벡터를 파라미터 서버(110)로 송신한다. 파라미터 서버(110)는 제2의 개수에 해당하는 4개의 원소만을 포함하는 아웃풋 벡터를 수신하면 이를 도 7과 같이 복원할 수 있다.
학습부(314)는 선택된 통신 기법이 아날로그 송신 기법이면 각각 제1 개수의 원소를 포함하는 제1 개수의 아웃풋 벡터를 다중 접속 방식을 이용해서 다른 엣지 디바이스와 동시에 파라미터 서버(110)로 엣지 디바이스와 파라미터 서버(110) 간의 통신 채널이 허용하는 범위에서 반복해서 송신한다.
도 8은 본 발명의 일 실시 예에 따른 무선 엣지 학습 시스템에서 아날로그 통신 기법을 선택할 때 적용하는 반복 코딩 기법의 예를 도시한 흐름도이다.
도 8을 참조하면, 다중 접속 방식을 이용한 반복 코딩 기법은 하나의 레이블에 포함된 원소의 수가 1.2, 3, 0.1과 같이 3개이고, 통신 채널이 허용하는 범위(사용 가능한 채널 활용 수)가 9개인 경우, 도 8과 같이 1.2, 3, 0.1를 3번 반복해서 송신한다. 파라미터 서버(110)는 반복된 원소들을 반복된 원소끼리 평균해서 원소를 복원할 수 있다.
조정부(316)는 파라미터 서버(110)로부터 제1 개수의 글로벌 아웃풋 벡터를 수신하면, 제1 개수의 글로벌 아웃풋 벡터를 학습 조정에 이용하여 다른 엣지 디바이스의 학습 정보를 반영한다.
제어부(310)는 엣지 디바이스(121)의 전반적인 동작을 제어할 수 있다. 그리고, 제어부(310)는 통신 기법 확인부(312), 학습부(314) 및 조정부(316)의 기능을 수행할 수 있다. 제어부(310), 통신 기법 확인부(312), 학습부(314) 및 조정부(316)를 구분하여 도시한 것은 각 기능들을 구별하여 설명하기 위함이다. 따라서 제어부(310)는 통신 기법 확인부(312), 학습부(314) 및 조정부(316) 각각의 기능을 수행하도록 구성된(configured) 적어도 하나의 프로세서를 포함할 수 있다. 또한, 제어부(310)는 통신 기법 확인부(312), 학습부(314) 및 조정부(316) 각각의 기능 중 일부를 수행하도록 구성된(configured) 적어도 하나의 프로세서를 포함할 수 있다.
도 9는 본 발명의 일 실시 예에 따른 송수신 기법이 연합 증류 기법과 연합 학습 기법에 적용될 때의 성능을 비교한 그래프를 도시한 도면이다.
도 9를 참조하면, 제시한 송수신 기법을 적용한 연합 증류의 성능을 독립 실행(standalone) 성능 및 연합 학습의 성능과 비교할 수 있다.
도 9의 환경은 10개의 엣지 디바이스를 이용해서 MNIST 데이터 셋을 분류하는 합성곱 신경망을 학습시키고, 각 연합 학습 및 연합 증류는 10번의 글로벌 iteration의 반복 횟수를 갖으며, SGD의 stepsize는 0.001로 가정한다. 업링크와 다운링크의 채널 사용 횟수는 같게 가정한다. 본 도면은 채널 사용 횟수에 따른 성능 변화를 나타내었으며, A는 아날로그 D는 디지털을 의미하고, 첫번째 문자는 업링크 두번째 문자는 다운링크를 의미한다. IL은 각 엣지 디바이스가 협력 없이 혼자 훈련한 경우의 성능을 나타내고 FL은 연합 학습을 무선 통신 환경에 적용한 경우의 성능을 나타낸다. HFD 및 FD는 본 발명에서 제안하는 연합 증류의 무선 통신 환경에서 적용된 경우의 성능을 나타내는데 HFD는 연합 증류의 일종으로 더 높은 성능을 보이는 알고리즘을 나타낸다. 도 9에서 관찰된 결과, 본 발명이 제시한 기법을 연합 증류에 적용할 경우, 충분치 않은 채널 자원의 환경의 경우에 연합 학습에 비해 월등한 성능을 보임을 확인할 수 있다.
이하, 상기와 같이 구성된 본 발명에 따른 방법을 아래에서 도면을 참조하여 설명한다.
도 4는 본 발명의 일 실시 예에 따른 무선 엣지 학습 시스템에서 연합 증류 기법으로 분산 학습하는 과정을 도시한 흐름도이다.
도 4를 참조하면, 파라미터 서버(110)는 엣지 디바이스들(121-124)의 채널 정보를 획득한다(410).
그리고, 파라미터 서버(110)는 채널 정보와 기설정된 송신 파워를 바탕으로 엣지 디바이스들(121-124) 각각으로부터의 수신 파워를 계산한다(420).
그리고, 파라미터 서버(110)는 계산된 수신 파워 중에서 가장 작은 값과 기설정된 기준 수신 파워와 비교한다(430).
그리고, 파라미터 서버(110)는 430단계의 비교 결과에 따라 엣지 디바이스들(121-124)과 파라미터 서버(110) 간의 학습 정보를 송수신 통신을 아날로그 통신 기법 또는 디지털 통신 기법으로 선택한다(440). 이때, 디지털 통신 기법은 엣지 디바이스들(121-124) 각각이 크기 순으로 기설정된 개수의 원소들만 송신하는 로컬 탑-케이 송신 기법을 이용하고, 아날로그 통신 기법은 다중 접속 방식을 이용해서 엣지 디바이스들(121-124) 각각에서 동시에 아웃풋 벡터를 반복해서 송신하는 반복 코딩 기법을 이용한다.
그리고, 파라미터 서버(110)에서 선택된 통신 기법을 엣지 디바이스들(121-124)로 브로드캐스팅(broadcasting)한다(450).
그리고, 엣지 디바이스들(121-124) 각각은 할당된 학습 데이터 셋으로 학습하고 제1 개수의 레이블 별로 아웃풋 벡터를 생성하는 엣지 디바이스 학습을 진행한다(460).
엣지 디바이스들(121-124) 각각은 선택된 통신 기법으로 제1 개수의 아웃풋 벡터를 파라미터 서버(110)로 송신한다(470).
그리고, 파라미터 서버(110)는 엣지 디바이스들(121-124)로부터 각각으로부터 수신한 제1 개수의 아웃풋 벡터를 엣지 디바이스들(121-124)의 개수로 평균을 계산하여 제1 개수의 글로벌 아웃풋 벡터를 계산하고, 제1 개수의 글로벌 아웃풋 벡터를 엣지 디바이스들(121-124)로 송신한다(480).
그리고, 엣지 디바이스들(121-124) 각각에서 제1 개수의 글로벌 아웃풋 벡터를 학습 조정에 이용하여 다른 엣지 디바이스의 학습 정보를 반영한다(490).
도 5는 본 발명의 일 실시 예에 따른 무선 엣지 학습 시스템의 파라미터 서버에서의 동작 흐름을 도시한 흐름도이다.
도 5를 참조하면, 파라미터 서버(110)는 엣지 디바이스들(121-124)의 채널 정보를 획득한다(510).
그리고, 파라미터 서버(110)는 채널 정보와 기설정된 송신 파워를 바탕으로 엣지 디바이스들(121-124) 각각으로부터의 수신 파워를 계산한다(520).
그리고, 파라미터 서버(110)는 계산된 수신 파워 중에서 가장 작은 값과 기설정된 기준 수신 파워와 비교한다(530).
그리고, 파라미터 서버(110)는 430단계의 비교 결과에 따라 엣지 디바이스들(121-124)과 파라미터 서버(110) 간의 학습 정보를 송수신 통신을 아날로그 통신 기법 또는 디지털 통신 기법으로 선택한다(540). 이때, 디지털 통신 기법은 엣지 디바이스들(121-124) 각각이 크기 순으로 기설정된 개수의 원소들만 송신하는 로컬 탑-케이 송신 기법을 이용하고, 아날로그 통신 기법은 다중 접속 방식을 이용해서 엣지 디바이스들(121-124) 각각에서 동시에 아웃풋 벡터를 반복해서 송신하는 반복 코딩 기법을 이용한다.
파라미터 서버(110)는 선택된 통신 기법을 엣지 디바이스들(121-124)로 브로드캐스팅(broadcasting)한다(550).
그리고, 파라미터 서버(110)는 엣지 디바이스들(121-124) 각각으로부터 선택된 통신 기법으로 제1 개수의 아웃풋 벡터를 파라미터 서버(110)로 송신한다(560).
그리고, 파라미터 서버(110)는 엣지 디바이스들(121-124)로부터 각각으로부터 수신한 제1 개수의 아웃풋 벡터를 엣지 디바이스들(121-124)의 개수로 평균을 계산하여 제1 개수의 글로벌 아웃풋 벡터를 계산하고, 제1 개수의 글로벌 아웃풋 벡터를 엣지 디바이스들(121-124)로 송신한다(570).
570단계에서 파라미터 서버(110)는 엣지 디바이스들(121-124)의 채널 정보를 획득하고, 채널 정보를 바탕으로 엣지 디바이스들(121-124) 각각의 수신 파워를 계산하고, 엣지 디바이스들(121-124) 각각의 수신 파워 중에서 가장 작은 값과 기설정된 기준 수신 파워와 비교하고, 엣지 디바이스들(121-124) 각각의 수신 파워 중에서 가장 작은 값과 기설정된 기준 수신 파워와 비교한 결과에 따라 아날로그 통신 기법 또는 디지털 통신 기법으로 선택하고, 제1 개수의 글로벌 아웃풋 벡터를 송신하기 위해서 선택된 통신 기법을 브로드캐스팅하고, 제1 개수의 글로벌 아웃풋 벡터를 송신하기 위해서 선택된 통신 기법으로 제1 개수의 글로벌 아웃풋 벡터를 엣지 디바이스들(121-124)로 송신할 수 있다.
도 6은 본 발명의 일 실시 예에 따른 무선 엣지 학습 시스템의 엣지 디바이스에서의 동작 흐름을 도시한 흐름도이다.
도 6을 참조하면, 엣지 디바이스(121)는 브로드캐스팅을 통해서 선택된 통신 기법을 수신한다(610).
그리고, 엣지 디바이스(121)는 할당된 학습 데이터 셋으로 학습하고 제1 개수의 레이블 별로 아웃풋 벡터를 생성한다(620).
그리고, 엣지 디바이스(121)는 선택된 통신 기법으로 제1 개수의 아웃풋 벡터를 파라미터 서버(110)로 송신한다(630).
630단계에서 엣지 디바이스(121)는 선택된 통신 기법이 디지털 송신 기법이면 제1 개수의 아웃풋 벡터 각각에 포함된 제1 개수의 원소 중에서 값이 큰 순서로 제2 개수의 원소만을 선택하여 파라미터 서버(110)로 송신하고, 선택된 통신 기법이 아날로그 송신 기법이면 각각 제1 개수의 원소를 포함하는 제1 개수의 아웃풋 벡터를 다중 접속 방식을 이용해서 다른 엣지 디바이스와 동시에 파라미터 서버(110)로 엣지 디바이스(121)와 파라미터 서버(110) 간의 통신 채널이 허용하는 범위에서 반복해서 송신한다.
그리고, 엣지 디바이스(121)는 파라미터 서버(110)로부터 제1 개수의 글로벌 아웃풋 벡터를 수신한다(640).
그리고, 엣지 디바이스(121)는 제1 개수의 글로벌 아웃풋 벡터를 학습 조정에 이용하여 다른 엣지 디바이스의 학습 정보를 반영한다(650).
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 저장할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 청구범위의 범위에 속한다.
110: 파라미터 서버
121-124: 엣지 디바이스

Claims (17)

  1. 파라미터 서버에서 엣지 디바이스들의 채널 정보를 획득하는 단계;
    상기 파라미터 서버에서 상기 채널 정보와 기설정된 송신 파워를 바탕으로 엣지 디바이스들 각각으로부터의 수신 파워를 계산하는 단계;
    상기 파라미터 서버에서 계산된 수신 파워 중에서 가장 작은 값과 기설정된 기준 수신 파워와 비교하는 단계;
    상기 파라미터 서버에서 비교 결과에 따라 상기 엣지 디바이스들과 상기 파라미터 서버 간의 학습 정보를 송수신 통신을 아날로그 통신 기법 또는 디지털 통신 기법으로 선택하는 단계; 및
    상기 파라미터 서버에서 선택된 통신 기법을 상기 엣지 디바이스들로 브로드캐스팅하는 단계
    를 포함하고,
    상기 파라미터 서버에서 비교 결과에 따라 상기 엣지 디바이스들과 상기 파라미터 서버 간의 학습 정보를 송수신 통신을 아날로그 통신 기법 또는 디지털 통신 기법으로 선택하는 단계는,
    상기 계산된 수신 파워 중에서 가장 작은 값이 상기 기설정된 기준 수신 파워보다 작으면, 상기 엣지 디바이스들과 상기 파라미터 서버 간의 학습 정보를 송수신 통신을 상기 아날로그 통신 기법으로 설정하는 단계; 및
    상기 계산된 수신 파워 중에서 가장 작은 값이 상기 기설정된 기준 수신 파워보다 크거나 같으면, 상기 엣지 디바이스들과 상기 파라미터 서버 간의 학습 정보를 송수신 통신을 상기 디지털 통신 기법으로 설정하는 단계
    를 포함하는
    연합 증류 기법의 적용을 위한 무선 엣지 학습 방법.
  2. 삭제
  3. 제1항에 있어서,
    상기 디지털 통신 기법은,
    상기 엣지 디바이스들 각각이 학습 동안에 저장한 아웃풋 벡터에 포함된 원소들 중에서 크기 순으로 기설정된 개수의 원소들만 송신하는 로컬 탑-케이 송신 기법을 이용하는
    연합 증류 기법의 적용을 위한 무선 엣지 학습 방법.
  4. 제1항에 있어서,
    상기 아날로그 통신 기법은,
    다중 접속 방식을 이용해서 상기 엣지 디바이스들 각각에서 동시에 아웃풋 벡터를 반복해서 송신하는 반복 코딩 기법을 이용하는
    연합 증류 기법의 적용을 위한 무선 엣지 학습 방법.
  5. 제1항에 있어서,
    상기 파라미터 서버에서 상기 엣지 디바이스들 각각으로부터 제1 개수의 아웃풋 벡터를 수신하는 단계;
    상기 파라미터 서버에서 상기 엣지 디바이스들로부터 각각으로부터 수신한 상기 제1 개수의 아웃풋 벡터를 상기 엣지 디바이스들의 개수로 평균을 계산하여 제1 개수의 글로벌 아웃풋 벡터를 계산하는 단계; 및
    상기 파라미터 서버에서 상기 제1 개수의 글로벌 아웃풋 벡터를 상기 엣지 디바이스들로 송신하는 단계
    를 더 포함하고,
    상기 제1 개수는,
    학습하는 데이터 셋의 레이블의 기설정된 개수인
    연합 증류 기법의 적용을 위한 무선 엣지 학습 방법.
  6. 제5항에 있어서,
    상기 파라미터 서버에서 상기 제1 개수의 글로벌 아웃풋 벡터를 상기 엣지 디바이스들로 송신하는 단계는,
    상기 파라미터 서버에서 상기 엣지 디바이스들의 채널 정보를 획득하는 단계;
    상기 파라미터 서버에서 상기 채널 정보를 바탕으로 상기 엣지 디바이스들 각각의 수신 파워를 계산하는 단계;
    상기 파라미터 서버에서 계산된 상기 엣지 디바이스들 각각의 수신 파워 중에서 가장 작은 값과 기설정된 기준 수신 파워와 비교하는 단계;
    상기 파라미터 서버에서 상기 엣지 디바이스들 각각의 수신 파워 중에서 가장 작은 값과 상기 기설정된 기준 수신 파워와 비교한 결과에 따라 아날로그 통신 기법 또는 디지털 통신 기법으로 선택하는 단계; 및
    상기 파라미터 서버에서 상기 제1 개수의 글로벌 아웃풋 벡터를 송신하기 위해서 선택된 통신 기법을 브로드캐스팅하는 단계; 및
    상기 파라미터 서버에서 기 제1 개수의 글로벌 아웃풋 벡터를 송신하기 위해서 선택된 통신 기법으로 상기 파라미터 서버에서 선택된 통신 기법으로 상기 제1 개수의 글로벌 아웃풋 벡터를 상기 엣지 디바이스들로 송신하는 단계
    를 포함하는 연합 증류 기법의 적용을 위한 무선 엣지 학습 방법.
  7. 제1항에 있어서,
    엣지 디바이스에서 브로드캐스팅을 통해서 상기 선택된 통신 기법을 수신하는 단계;
    상기 엣지 디바이스에서 할당된 학습 데이터 셋으로 학습하고 제1 개수의 레이블 별로 아웃풋 벡터를 생성하는 단계; 및
    상기 엣지 디바이스에서 상기 선택된 통신 기법으로 상기 제1 개수의 아웃풋 벡터를 상기 파라미터 서버로 송신하는 단계
    를 더 포함하고,
    상기 제1 개수는,
    학습하는 데이터 셋의 레이블의 기설정된 개수인
    연합 증류 기법의 적용을 위한 무선 엣지 학습 방법.
  8. 제7항에 있어서,
    상기 엣지 디바이스에서 상기 파라미터 서버로부터 제1 개수의 글로벌 아웃풋 벡터를 수신하는 단계; 및
    상기 엣지 디바이스에서 상기 제1 개수의 글로벌 아웃풋 벡터를 학습 조정에 이용하여 다른 엣지 디바이스의 학습 정보를 반영하는 단계
    를 더 포함하는 연합 증류 기법의 적용을 위한 무선 엣지 학습 방법.
  9. 제7항에 있어서,
    상기 엣지 디바이스에서 상기 선택된 통신 기법으로 상기 제1 개수의 아웃풋 벡터를 상기 파라미터 서버로 송신하는 단계는,
    상기 선택된 통신 기법이 디지털 송신 기법이면 상기 제1 개수의 아웃풋 벡터 각각에 포함된 제1 개수의 원소 중에서 값이 큰 순서로 제2 개수의 원소만을 선택하여 상기 파라미터 서버로 송신하고,
    상기 선택된 통신 기법이 아날로그 송신 기법이면 각각 제1 개수의 원소를 포함하는 상기 제1 개수의 아웃풋 벡터를 다중 접속 방식을 이용해서 다른 엣지 디바이스와 동시에 상기 파라미터 서버로 상기 엣지 디바이스와 상기 파라미터 서버 간의 통신 채널이 허용하는 범위에서 반복해서 송신하고,
    상기 제2 개수는,
    상기 제1 개수 보다 작은 기설정된 개수인
    연합 증류 기법의 적용을 위한 무선 엣지 학습 방법.
  10. 엣지 디바이스들과 파라미터 서버를 포함하는 무선 엣지 학습 시스템에 있어서,
    상기 엣지 디바이스들의 채널 정보를 획득하고, 상기 채널 정보와 기설정된 송신 파워를 바탕으로 엣지 디바이스들 각각으로부터의 수신 파워를 계산하고, 계산된 수신 파워 중에서 가장 작은 값과 기설정된 기준 수신 파워와 비교하고, 비교 결과에 따라 상기 엣지 디바이스들과 상기 파라미터 서버 간의 학습 정보를 송수신 통신을 아날로그 통신 기법 또는 디지털 통신 기법으로 선택하고, 선택된 통신 기법을 상기 엣지 디바이스들로 브로드캐스팅하는 상기 파라미터 서버; 및
    브로드캐스팅을 통해서 상기 선택된 통신 기법을 수신하면, 할당된 학습 데이터 셋으로 학습하고 제1 개수의 레이블 별로 아웃풋 벡터를 생성하고, 상기 엣지 디바이스에서 상기 선택된 통신 기법으로 제1 개수의 아웃풋 벡터를 상기 파라미터 서버로 송신하는 상기 엣지 디바이스들
    을 포함하고,
    상기 파라미터 서버는,
    상기 아날로그 통신 기법 또는 상기 디지털 통신 기법으로 선택할 때,
    상기 계산된 수신 파워 중에서 가장 작은 값이 상기 기설정된 기준 수신 파워보다 작으면, 상기 엣지 디바이스들과 상기 파라미터 서버 간의 학습 정보를 송수신 통신을 상기 아날로그 통신 기법으로 설정하고,
    상기 계산된 수신 파워 중에서 가장 작은 값이 상기 기설정된 기준 수신 파워보다 크거나 같으면, 상기 엣지 디바이스들과 상기 파라미터 서버 간의 학습 정보를 송수신 통신을 상기 디지털 통신 기법으로 설정하고,
    상기 제1 개수는 학습하는 데이터 셋의 레이블의 기설정된 개수인
    연합 증류 기법의 적용을 위한 무선 엣지 학습 시스템.
  11. 삭제
  12. 제10항에 있어서,
    상기 디지털 통신 기법은,
    상기 엣지 디바이스들 각각이 학습 동안에 저장한 아웃풋 벡터에 포함된 원소들 중에서 크기 순으로 기설정된 개수의 원소들만 송신하는 로컬 탑-케이 송신 기법을 이용하는
    연합 증류 기법의 적용을 위한 무선 엣지 학습 시스템.
  13. 제10항에 있어서,
    상기 아날로그 통신 기법은,
    다중 접속 방식을 이용해서 상기 엣지 디바이스들 각각에서 동시에 아웃풋 벡터를 반복해서 송신하는 반복 코딩 기법을 이용하는
    연합 증류 기법의 적용을 위한 무선 엣지 학습 시스템.
  14. 제10항에 있어서,
    상기 파라미터 서버는,
    상기 엣지 디바이스들 각각으로부터 상기 제1 개수의 아웃풋 벡터를 수신하면, 상기 제1 개수의 아웃풋 벡터를 상기 엣지 디바이스들의 개수로 평균을 계산하여 제1 개수의 글로벌 아웃풋 벡터를 계산하고, 상기 제1 개수의 글로벌 아웃풋 벡터를 상기 엣지 디바이스들로 송신하는
    연합 증류 기법의 적용을 위한 무선 엣지 학습 시스템.
  15. 제14항에 있어서,
    상기 파라미터 서버는,
    상기 제1 개수의 글로벌 아웃풋 벡터를 상기 엣지 디바이스들로 송신할 때,
    상기 엣지 디바이스들의 상기 채널 정보를 획득하고, 상기 채널 정보를 바탕으로 상기 엣지 디바이스들 각각의 수신 파워를 계산하고, 상기 엣지 디바이스들 각각의 수신 파워 중에서 가장 작은 값과 기설정된 기준 수신 파워와 비교하고, 상기 엣지 디바이스들 각각의 수신 파워 중에서 가장 작은 값과 상기 기설정된 기준 수신 파워와 비교한 결과에 따라 아날로그 통신 기법 또는 디지털 통신 기법으로 선택하고, 상기 제1 개수의 글로벌 아웃풋 벡터를 송신하기 위해서 선택된 통신 기법을 브로드캐스팅하고, 상기 제1 개수의 글로벌 아웃풋 벡터를 송신하기 위해서 선택된 통신 기법으로 상기 제1 개수의 글로벌 아웃풋 벡터를 상기 엣지 디바이스들로 송신하는
    연합 증류 기법의 적용을 위한 무선 엣지 학습 시스템.
  16. 제14항에 있어서,
    상기 엣지 디바이스는,
    상기 파라미터 서버로부터 상기 제1 개수의 글로벌 아웃풋 벡터를 수신하면, 상기 제1 개수의 글로벌 아웃풋 벡터를 학습 조정에 이용하여 다른 엣지 디바이스의 학습 정보를 반영하는
    연합 증류 기법의 적용을 위한 무선 엣지 학습 시스템.
  17. 제10항에 있어서,
    상기 엣지 디바이스는,
    상기 선택된 통신 기법이 디지털 송신 기법이면 상기 제1 개수의 아웃풋 벡터 각각에 포함된 제1 개수의 원소 중에서 값이 큰 순서로 제2 개수의 원소만을 선택하여 상기 파라미터 서버로 송신하고,
    상기 선택된 통신 기법이 아날로그 송신 기법이면 각각 제1 개수의 원소를 포함하는 상기 제1 개수의 아웃풋 벡터를 다중 접속 방식을 이용해서 다른 엣지 디바이스와 동시에 상기 파라미터 서버로 상기 엣지 디바이스와 상기 파라미터 서버 간의 통신 채널이 허용하는 범위에서 반복해서 송신하고,
    상기 제2 개수는,
    상기 제1 개수 보다 작은 기설정된 개수인
    연합 증류 기법의 적용을 위한 무선 엣지 학습 시스템.
KR1020210035273A 2020-11-24 2021-03-18 연합 증류 기법의 적용을 위한 통신 프로토콜을 가진 무선 엣지 학습 시스템 및 방법 KR102428989B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20200159141 2020-11-24
KR1020200159141 2020-11-24

Publications (2)

Publication Number Publication Date
KR20220071848A KR20220071848A (ko) 2022-05-31
KR102428989B1 true KR102428989B1 (ko) 2022-08-05

Family

ID=81780358

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210035273A KR102428989B1 (ko) 2020-11-24 2021-03-18 연합 증류 기법의 적용을 위한 통신 프로토콜을 가진 무선 엣지 학습 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR102428989B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20240071270A (ko) 2022-11-15 2024-05-22 경희대학교 산학협력단 이단계 내쉬 균형을 이용한 연합 학습 방법 및 이를 이용한 장치

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Lukasz Kulacz et al., "Transmission Profile Selection in Dense Wireless Networks," In Proceedings of the 2020 Baltic URSI Symposium (URSI) (2020.10.05.)*
Mingzhe Chen et al., "A Joint Learning and Communications Framework for Federated Learning over Wireless Networks," arXiv:1909.07972v3 [cs.NI] 2 Oct 2020 (2020.10.02.)*

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20240071270A (ko) 2022-11-15 2024-05-22 경희대학교 산학협력단 이단계 내쉬 균형을 이용한 연합 학습 방법 및 이를 이용한 장치

Also Published As

Publication number Publication date
KR20220071848A (ko) 2022-05-31

Similar Documents

Publication Publication Date Title
US20230284139A1 (en) Apparatuses and methods for communicating on ai enabled and non-ai enabled air interfaces
EP2830345B1 (en) Data transmission method, base station, and user equipment
KR101524689B1 (ko) 간섭 정렬을 위하여 선택적으로 간섭 채널들에 대한 정보를피드백하는 통신 시스템 및 그 방법
CN108900237B (zh) 一种多波束卫星通信系统资源分配方法
US8855694B2 (en) Interference alignment scheme for use in communication network
US20060165191A1 (en) MIMO channel feedback protocols
US11329700B2 (en) Method and apparatus for downlink transmission in a cloud radio access network
KR20110135597A (ko) 행렬 네트워크 코딩을 사용하는 장치 및 방법
CN108141314A (zh) 用于确定纠错码系统的特征的方法和装置
KR102034961B1 (ko) C-ran 통신 시스템의 에너지 효율 향상을 위한 동적 rrh 선택 알고리즘
CN110326264B (zh) 信号质量控制方法及基站
CN116567839A (zh) 去蜂窝大规模mimo网络下共生无线电系统的资源分配方法
CN104270224A (zh) 链路自适应反馈方法和发送端设备
KR102428989B1 (ko) 연합 증류 기법의 적용을 위한 통신 프로토콜을 가진 무선 엣지 학습 시스템 및 방법
TWI540888B (zh) 可調式視訊傳輸於多輸入多輸出系統的功率分配方法
KR20210139063A (ko) 모바일 에지 컴퓨팅 시스템의 비동기식 자원 할당 방법 및 장치
US20140104999A1 (en) Communication apparatus and data transmission method thereof
CN108055110A (zh) 用于先验解码的系统和方法
WO2021136471A1 (zh) 上行传输方法、计算机可读存储介质和分布式多天线系统
US11431543B2 (en) Facilitating a two-stage downlink control channel in a wireless communication system
KR20150135993A (ko) 가변적인 안테나 선택 및 공간 다중화를 수행하여 데이터를 전송하는 장치, 데이터를 전송하는 방법, 데이터를 수신하는 장치, 및 데이터를 수신하는 방법
JP2022512463A (ja) プリコーディング設定
CN111817758B (zh) 一种离散调制信号mimo传输方法
CN111294817B (zh) 一种接入模式选择和预编码联合优化方法和装置
CN109286428B (zh) 一种信道状态信息估计的处理方法、网络侧设备及终端

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant