KR102439426B1 - 에지 컴퓨팅에서 멀티 연합 학습 서비스 오케스트레이터 및 이의 실행 방법 - Google Patents

에지 컴퓨팅에서 멀티 연합 학습 서비스 오케스트레이터 및 이의 실행 방법 Download PDF

Info

Publication number
KR102439426B1
KR102439426B1 KR1020200160681A KR20200160681A KR102439426B1 KR 102439426 B1 KR102439426 B1 KR 102439426B1 KR 1020200160681 A KR1020200160681 A KR 1020200160681A KR 20200160681 A KR20200160681 A KR 20200160681A KR 102439426 B1 KR102439426 B1 KR 102439426B1
Authority
KR
South Korea
Prior art keywords
user equipment
energy consumption
learning service
total
learning
Prior art date
Application number
KR1020200160681A
Other languages
English (en)
Other versions
KR102439426B9 (ko
KR20210067911A (ko
Inventor
홍충선
휴 낫 민 응위옌
김유준
Original Assignee
경희대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 경희대학교 산학협력단 filed Critical 경희대학교 산학협력단
Publication of KR20210067911A publication Critical patent/KR20210067911A/ko
Application granted granted Critical
Publication of KR102439426B1 publication Critical patent/KR102439426B1/ko
Publication of KR102439426B9 publication Critical patent/KR102439426B9/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5061—Partitioning or combining of resources
    • G06F9/5077—Logical partitioning of resources; Management or configuration of virtualized resources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5061—Partitioning or combining of resources
    • G06F9/5072—Grid computing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Abstract

본 발명의 일 실시예에 따른 멀티 연합 학습 서비스 오케스트레이터에서 실행되는 멀티 연합 학습 서비스 방법은 각각의 학습 서비스의 하위 문제를 해결하기 위한 각각의 사용자 장비에 따른 에너지 소비량을 산출하는 단계, 상기 각각의 사용자 장비의 전송 정보를 이용하여 상기 학습 서비스의 전체 로컬 시간에 해당하는 상기 각각의 사용자 장비의 전송 속도를 산출하는 단계, 상기 각각의 사용자 장비에 따른 에너지 소비량 및 상기 각각의 사용자 장비의 전송 정보를 이용하여 각 글로벌 라운드에 대한 전체 사용자 장비의 총 에너지 소비량을 산출하는 단계 및 상기 사용자 장비에 따른 에너지 소비량, 상기 학습 서비스의 전체 로컬 시간에 해당하는 전송 속도 및 상기 전체 사용자 장비의 총 에너지 소비량을 이용하여 상기 하위 문제를 해결하는 단계를 포함한다.

Description

에지 컴퓨팅에서 멀티 연합 학습 서비스 오케스트레이터 및 이의 실행 방법{MULTIPLE FEDERATED LEARNING SERVICE ORCHESTRATOR IN EDGE COMPUTING AND METHOD OF PERFORMING THEREOF}
본 발명은 멀티 연합 학습 서비스 오케스트레이터 및 이의 실행 방법에 관한 것으로, 보다 상세하게는 연합 학습 조정자에서 할당, 로컬 학습 품질 관리, 멀티섹스 문제 해결을 위한 블록 좌표 강하 기반의 중앙 집중식 접근 방식을 제공하기 위한 멀티 연합 학습 서비스 오케스트레이터 및 이의 실행 방법에 관한 것이다.
오늘날 고성능 모바일 기기의 확산은 로컬 데이터 셋에 기반한 분산형 학습을 지원할 수 있다.
종래의 연합 학습 알고리즘에서, 저자들은 개별 UE와 로컬 데이터 집합에서 업데이트되는 로컬 학습 가중치를 평균화하는 간단한 메커니즘을 제공한다. 최근에는 많은 연합 학습 작품들이 학습 성과를 향상시키기 위한 고급 학습 알고리즘을 제공하는데 초점을 맞추고 있다.
이때, 연합 학습 체계는 사용자 데이터를 공개하지 않고 학습 과정에 참여하는 방대한 양의 사용자 장비를 획득한다. 그러나, 여러 연합 학습 서비스가 있는 복잡한 시나리오에서, 이러한 사용자 장비들 간의 자원 공유를 관리하는데 조정자가 필요하다.
이러한 조정자의 역할은 에너지 소비는 물론 학습 시간을 줄이기 위해 지역 학습 문제 품질 결정에서 이러한 학습 서비스를 계산, 통신 리소스 및 협력한다.
통합 학습은 데이터 개인 정보 보호의 여러 가지 이점과 현대적인 강력한 프로세서와 저지연 모바일 엣지 네트워크로 잠재적으로 많은 양의 사용자 장비를 가지고 있다.
이러한 문제들은 특히 다양한 트레이드오프에 영향을 미친다. 예를 들어, 학습 정확도 수준에 의해 결정된 계산 및 통신 지연 시간 사이 및 연합 학습 시간과 사용자 장비(UE)의 에너지 소비 사이 각각에 대한 트레이드오프에 영향을 미친다.
본 발명은 연합 학습 조정자에서 할당, 로컬 학습 품질 관리, 멀티섹스 문제 해결을 위한 블록 좌표 강하 기반의 중앙 집중식 접근 방식을 제공하기 위한 멀티 연합 학습 서비스 오케스트레이터 및 이의 실행 방법을 제공하는 것을 목적으로 한다.
본 발명의 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있고, 본 발명의 실시예에 의해 보다 분명하게 이해될 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.
이러한 목적을 달성하기 위한 멀티 연합 학습 서비스 오케스트레이터에서 실행되는 다중 학습 서비스용 리소스 할당 방법은 각각의 학습 서비스의 하위 문제를 해결하기 위한 각각의 사용자 장비에 따른 에너지 소비량을 산출하는 단계, 상기 각각의 사용자 장비의 전송 정보를 이용하여 상기 학습 서비스의 전체 로컬 시간에 해당하는 상기 각각의 사용자 장비의 전송 속도를 산출하는 단계, 상기 각각의 사용자 장비에 따른 에너지 소비량 및 상기 각각의 사용자 장비의 전송 정보를 이용하여 각 글로벌 라운드에 대한 전체 사용자 장비의 총 에너지 소비량을 산출하는 단계 및 상기 사용자 장비에 따른 에너지 소비량, 상기 학습 서비스의 전체 로컬 시간에 해당하는 전송 속도 및 상기 전체 사용자 장비의 총 에너지 소비량을 이용하여 상기 하위 문제를 해결하는 단계를 포함한다.
또한 이러한 목적을 달성하기 위한 멀티 연합 학습 서비스 오케스트레이터는 각각의 학습 서비스의 하위 문제를 해결하기 위한 각각의 사용자 장비에 따른 에너지 소비량을 산출하는 에너지 소비량 산출부, 상기 각각의 사용자 장비의 전송 정보를 이용하여 상기 학습 서비스의 전체 로컬 시간에 해당하는 상기 각각의 사용자 장비의 업링크 전송의 에너지 소비량을 산출하는 업링크 전송용 에너지 소비량 산출부, 상기 각각의 사용자 장비에 따른 에너지 소비량 및 상기 각각의 사용자 장비의 전송 정보를 이용하여 각 글로벌 라운드에 대한 전체 사용자 장비의 총 에너지 소비량을 산출하는 총 에너지 소비량 산출부 및 상기 사용자 장비에 따른 에너지 소비량, 상기 학습 서비스의 전체 로컬 시간에 해당하는 전송 속도 및 상기 전체 사용자 장비의 총 에너지 소비량을 이용하여 상기 하위 문제를 해결하는 하위 문제 해결부를 포함한다.
전술한 바와 같은 본 발명에 의하면, 연합 학습 조정자에서 할당, 로컬 학습 품질 관리, 멀티섹스 문제 해결을 위한 블록 좌표 강하 기반의 중앙 집중식 접근 방식을 제공할 수 있다는 장점이 있다.
도 1은 본 발명의 일 실시예에 따른 멀티 연합 학습 서비스 모델을 설명하기 위한 개념도이다.
도 2는 본 발명의 일 실시예에 따른 멀티 연합 학습 서비스 오케스트레이터의 내부 구조를 설명하기 위한 네트워크 구성도이다.
도 3은 본 발명에 따른 다중 학습 서비스용 리소스 할당 방법을 설명하기 위한 흐름도이다.
전술한 목적, 특징 및 장점은 첨부된 도면을 참조하여 상세하게 후술되며, 이에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 상세한 설명을 생략한다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명하기로 한다. 도면에서 동일한 참조부호는 동일 또는 유사한 구성요소를 가리키는 것으로 사용된다.
도 1은 본 발명의 일 실시예에 따른 멀티 연합 학습 서비스 모델을 설명하기 위한 개념도이다. 도 2는 본 발명의 일 실시예에 따른 멀티 연합 학습 서비스 오케스트레이터의 내부 구조를 설명하기 위한 네트워크 구성도이다.
도 1 및 도 2를 참조하면, 멀티 연합 학습 서비스 오케스트레이터(100) 및 사용자 장비(UE_1~UE_N)를 포함한다.
도 1에서, 사용자 장비(UE_1~UE_N)는 로컬 학습 정보를 생성한 후, 공유 무선 환경을 통해 로컬 학습 정보를 연합 학습 서비스 오케스트레이터(100)에 제공한다. 연합 학습 서비스 오케스트레이터(100)는 로컬 학습 정보를 기초로 글로벌 변경 정보를 생성한 후 글로벌 변경 정보를 사용자 장비(UE_1~UE_N) 각각에 제공한다.
본 발명에서는 BS 및 N개의 사용자 장비(UE_1~UE_N) 집합에서 하나의 연합 학습 오케스트레이터(100)와 함께 연합 학습 계획의 다중 서비스 프레임워크를 고려한다. 각각의 n개의 사용자 장비(UE_1~UE_N)는 Ds 크기의 로컬 데이터 셋에 저장된다. 이때, n은 각각의 연학 학습 서비스(s)를 의미한다.
이러한 학습 서비스(s)는 공유 CPU 리소스를 사용하여 로컬 학습 작업과 업데이트된 정보를 연합 학습 오케스트레이터(100)에 전송하는 대역폭 리소스를 계산한다.
이를 위해, 멀티 연합 학습 서비스 오케스트레이터(100)는 도 2와 같이 에너지 소비량 산출부(110), 업링크 전송용 에너지 소비량 산출부(120), 총 에너지 소비량 산출부(130) 및 하위 문제 해결부(140)를 포함한다.
학습 서비스(s)에 대한 하위 문제 해결을 위한 각 사용자의 n의 에너지 소비량은 하기의 [수학식 1]과 같다.
[수학식 1]
Figure 112020127404745-pat00001
Figure 112020127404745-pat00002
: 학습 서비스(s)에 대한 하위 문제 해결을 위한 각 사용자의 n의 에너지 소비량,
D: 데이터 셋,
fi: 각각의 사용자 장비(UE_1~UE_N)에게 주어진 입력 데이터 xi의 국소 손실 함수,
xi: 입력 데이터
먼저, 에너지 소비량 산출부(110)는 각각의 학습 서비스(s)의 하위 문제를 해결하기 위한 각각의 사용자 장비(UE_1~UE_N)에 따른 에너지 소비량을 산출한다.
즉, 에너지 소비량 산출부(110)는 [수학식 2]와 같이 상기 각각의 학습 서비스(s)를 위한 연합 학습 계획, 상기 사용자 장비(UE_1~UE_N)의 CPU 사이클 주파수, 상기 학습 서비스(s)에 속하는 데이터 중 특정 데이터를 실행하는 각각의 사용자 장비(UE_1~UE_N)를 위한 CPU 사이클의 수 및 컴퓨팅 칩셉의 유효 캐패시턴스 계수를 이용하여 상기 각각의 학습 서비스(s)의 하위 문제를 해결하기 위한 각각의 사용자 장비(UE_1~UE_N)에 따른 에너지 소비량을 산출할 수 있다.
[수학식 2]
Figure 112020127404745-pat00003
Figure 112020127404745-pat00004
: 각각의 n개의 사용자 장비(UE_1~UE_N)에 따른 에너지 소비량,
Ds,n: 각각의 학습 서비스(s)를 위한 연합 학습 계획,
fs,n: 사용자 장비(UE_1~UE_N)의 CPU 사이클 주파수,
Cs: 학습 서비스에 속하는 데이터의 하나의 샘플을 실행하는 각각의 사용자 장비(UE_1~UE_N)를 위한 CPU 사이클의 수,
Figure 112020127404745-pat00005
: 컴퓨팅 칩셉의 유효 캐패시턴스 계수
업링크 전송용 에너지 소비량 산출부(120)는 상기 각각의 사용자 장비(UE_1~UE_N)의 전송 정보를 이용하여 상기 학습 서비스(s)의 전체 로컬 시간에 해당하는 상기 각각의 사용자 장비(UE_1~UE_N)의 업링크 전송의 에너지 소비량을 산출한다.
즉, 업링크 전송용 에너지 소비량 산출부(120)는 [수학식 3] 내지 [수학식 7]을 기초로 상기 각각의 사용자 장비(UE_1~UE_N)의 업링크 전송 시간, 상기 각각의 사용자 장비(UE_1~UE_N)의 송신 전력, 각 사용자 장비(UE_1~UE_N)의 총 대역폭의 비율 및 사용자 장비(UE_1~UE_N) 별로 로컬 변경 사항을 적용한 후 글로벌 변화를 브로드캐스트하기 위한 다운 링크 전송 시간을 이용하여 상기 각각의 사용자 장비(UE_1~UE_N)의 업링크 전송의 에너지 소비량을 산출할 수 있다.
이때, 학습 서비스(s)의 전체 로컬 계산 시간은 하기의 [수학식 3]와 같다. 통신을 위해, 본 발명은 총 대역폭의 분수 Wn을 가진 OFDMA 모델을 고려한다. 이때, B는 각 사용자 장비(UE_1~UE_N)에 할당된다.
[수학식 3]
Figure 112020127404745-pat00006
Figure 112020127404745-pat00007
: 학습 서비스(s)의 전체 로컬 계산 시간,
fs,n: 각 사용자 장비(UE_1~UE_N)의 CPU 사이클 주기,
Cs: 학습 서비스에 속하는 데이터 중 하나의 샘플을 실행하는 각각의 사용자 장비(UE_1~UE_N)를 위한 CPU 사이클의 수,
n: 사용자 장비(UE_1~UE_N)의 수,
Ds,n: 각각의 학습 서비스(s)를 위한 연합 학습 계획
그 다음, 본 발명은 사용자 장비(UE_1~UE_N)가 [수학식 3]에 해당하는 전송 속도를 얻기 위해 총 대역폭 B의 Wn를 사용하는 업링크 OFDMA 모델을 고려한다. 이러한 학습 서비스(s)에 대한 각 사용자 장비(UE_1~UE_N)의 업링크 전송 시간은 하기의 [수학식 4]과 같다.
각각의 n개의 사용자 장비(UE_1~UE_N)의 달성 가능한 전송 속도(bps)는 [수학식 4]와 같이Shannon 용량으로 정의된다.
[수학식 4]
Figure 112020127404745-pat00008
Figure 112020127404745-pat00009
: 각각의 n개의 사용자 장비(UE_1~UE_N)의 달성 가능한 전송 속도(bps),
Pn: 송신 전력,
hn: 사용자 장비(UE_1~UE_N)의 채널 이득,
N0: 가우스 잡음,
B: 총 대역폭,
Figure 112020127404745-pat00010
: 각 사용자의 총 대역폭의 비율
각각의 n개의 사용자 장비(UE_1~UE_N)의 업링크 전송 시간은 하기의 [수학식 5]와 같다.
[수학식 5]
Figure 112020127404745-pat00011
Figure 112020127404745-pat00012
: 각각의 n개의 사용자 장비(UE_1~UE_N)의 업링크 전송 시간,
Figure 112020127404745-pat00013
: [수학식 4]에 의해 산출된 각각의 n개의 사용자 장비(UE_1~UE_N)의 달성 가능한 전송 속도(bps),
Figure 112020127404745-pat00014
: 각 사용자의 총 대역폭의 비율,
Vs: FLO에 전송해야 하는데 필요한 로컬 업데이트 크기,
Figure 112020127404745-pat00015
: 사용자의 로컬 변경 사항을 적용한 후 글로벌 변화를 브로드캐스트하기 위한 고정 다운링크 시간
그러므로, 학습 서비스(s)의 통신 시간은 하기의 [수학식 6]와 같다.
[수학식 6]
Figure 112020127404745-pat00016
Figure 112020127404745-pat00017
: 학습 서비스(s)의 통신 시간,
Figure 112020127404745-pat00018
: 각각의 n개의 사용자 장비(UE_1~UE_N)의 업링크 전송 시간,
Figure 112020127404745-pat00019
: 각 사용자의 총 대역폭의 비율,
Figure 112020127404745-pat00020
: 사용자의 로컬 변경 사항을 적용한 후 글로벌 변화를 브로드캐스트하기 위한 다운 링크 전송 시간
업링크 전송의 에너지 소비량은 하기의 [수학식 7]과 같다.
[수학식 7]
Figure 112020127404745-pat00021
Figure 112020127404745-pat00022
: 업링크 전송의 에너지 소비량,
Figure 112020127404745-pat00023
: 각각의 n개의 사용자 장비(UE_1~UE_N)의 업링크 전송 시간,
Pn: 각각의 n개의 사용자 장비(UE_1~UE_N)의 송신 전력,
Figure 112020127404745-pat00024
: 각 사용자의 총 대역폭의 비율,
Figure 112020127404745-pat00025
: 사용자의 로컬 변경 사항을 적용한 후 글로벌 변화를 브로드캐스트하기 위한 다운 링크 전송 시간,
총 에너지 소비량 산출부(130)는 각각의 사용자 장비(UE_1~UE_N)에 따른 에너지 소비량 및 상기 각각의 사용자 장비(UE_1~UE_N)의 전송 정보를 이용하여 각 글로벌 라운드에 대한 전체 사용자 장비(UE_1~UE_N)의 총 에너지 소비량을 산출한다.
즉, 에너지 소비량 산출부(110)는 사용자 장비(UE_1~UE_N)의 총 대역폭의 비율, 상기 각각의 학습 서비스(s)의 업링크 전송에 대한 에너지 소비량, 상기 각각의 학습 서비스(s)의 하위 문제를 해결하기 위한 각각의 사용자 장비(UE_1~UE_N)에 따른 에너지 소비량 및 상기 사용자 장비(UE_1~UE_N)의 CPU 사이클 주기를 이용하여 각 글로벌 라운드에 대한 전체 사용자 장비(UE_1~UE_N)의 총 에너지 소비량을 산출할 수 있다.
이때, 각 연합 러닝 학습 서비스(s)의 글로벌 학습 시간은 하기의 [수학식 8]과 같다.
[수학식 8]
Figure 112020127404745-pat00026
각각의 글로벌 라운드를 위한 모든 사용자 장비(UE_1~UE_N)의 총 에너지 소비량은 하기의 [수학식 9]와 같다.
[수학식 9]
Figure 112020127404745-pat00027
Figure 112020127404745-pat00028
: 각 글로벌 라운드에 대한 모든 사용자 장비(UE_1~UE_N)의 총 에너지 소비량,
Figure 112020127404745-pat00029
: 각 사용자의 총 대역폭의 비율,
Figure 112020127404745-pat00030
: [수학식 7]에서 산출된 업링크 전송의 에너지 소비량,
Figure 112020127404745-pat00031
: [수학식 2]에서 산출된 각각의 n개의 사용자 장비(UE_1~UE_N)에 따른 에너지 소비량,
fs,n: 각 사용자 장비(UE_1~UE_N)의 CPU 사이클 주기,
하위 문제 해결부(140)는 사용자 장비(UE_1~UE_N)에 따른 에너지 소비량, 상기 학습 서비스(s)의 전체 로컬 시간에 해당하는 전송 속도 및 상기 전체 사용자 장비(UE_1~UE_N)의 총 에너지 소비량을 이용하여 상기 하위 문제를 해결한다.
본 발명에서는 각 사용자 장비(UE_1~UE_N)에서 학습 서비스(s) 간의 CPU 리소스 공유, 사용자 장비(UE_1~UE_N) 간의 대역폭 리소스 공유에 따라 본 발명은 멀티 서비스 연합 학습 최적화 문제인 MS-FEDL을 다음과 같이 제안한다.
[수학식 10]
Figure 112020127404745-pat00032
Figure 112020127404745-pat00033
: 필요한 글로벌 반복 횟수,
Figure 112020127404745-pat00034
: 사용자 장비(UE_1~UE_N)의 총 CPU 주파수,
Figure 112020127404745-pat00035
: 각 사용자 장비(UE_1~UE_N)에서 각 학습 서비스의 CPU 빈도,
Figure 112020127404745-pat00036
: 각 사용자의 총 대역폭의 비율
하위 문제 해결부(140)는 융합이 될 때까지 다음의 세 가지 하위 문제를 반복적으로 해결한다.
의사 결정 변수는 각 사용자 장비(UE_1~UE_N)에서 각 학습 서비스(s)의 CPU 빈도
Figure 112020127404745-pat00037
, 각 사용자의 총 대역폭의 비율
Figure 112020127404745-pat00038
및 로컬 학습 문제의 상대적 정확도
Figure 112020127404745-pat00039
를 포함한다. 솔루션 접근방식의 경우, 하기의 [수학식 11] 내지 [수학식 12]에 개시된 하위 문제를 반복적으로 해결한다.
[수학식 11]
Figure 112020127404745-pat00040
[수학식 12]
Figure 112020127404745-pat00041
하위 문제 해결부(140)는 계산(
Figure 112020127404745-pat00042
), 통신(
Figure 112020127404745-pat00043
), 계산 시간(
Figure 112020127404745-pat00044
) 및 통신 시간(
Figure 112020127404745-pat00045
)의 계산된 에너지 소비량을 제공함으로써 국소 오류 결정 하위 문제를 해결할 수 있다.
[수학식 13]
Figure 112020127404745-pat00046
이러한 볼록 하위 문제는 외부 볼록 해결사가 해결할 수 있다는 점에 유의해야 한다.
하위 문제 업데이트를 위한 병렬 구조를 제공하기 위해 자코비 근위부 ADMM(Jacobi Proximal ADMM) 접근법이 제안된다. 다중 콘벡스 ADM에 JP-ADM을 통합한 것을 JP-miADMM이라고 한다.
하위 문제 해결부(140)는 각각의 학습 서비스(s)에 대해 3개의 하위 문제를 해결할 수 있다.
[수학식 14]
Figure 112020127404745-pat00047
fs: {fs,n}의 벡터
Figure 112020127404745-pat00048
: 각 사용자 장비(UE)의 업링크 전송 시간,
[수학식 15]
Figure 112020127404745-pat00049
Ws: {Ws,n}의 벡터
[수학식 16]
Figure 112020127404745-pat00050
[수학식 17]
Figure 112020127404745-pat00051
도 3은 본 발명에 따른 다중 학습 서비스용 리소스 할당 방법을 설명하기 위한 흐름도이다.
도 3을 참조하면, 멀티 연합 학습 서비스 오케스트레이터는 각각의 학습 서비스의 하위 문제를 해결하기 위한 각각의 사용자 장비(UE_1~UE_N)에 따른 에너지 소비량을 산출한다(단계 S310).
단계 S310에 대한 일 실시예에서, 멀티 연합 학습 서비스 오케스트레이터는 각각의 학습 서비스를 위한 연합 학습 계획, 상기 사용자 장비(UE_1~UE_N)의 CPU 사이클 주파수, 상기 학습 서비스에 속하는 데이터 중 특정 데이터를 실행하는 각각의 사용자 장비(UE_1~UE_N)를 위한 CPU 사이클의 수 및 컴퓨팅 칩셉의 유효 캐패시턴스 계수를 이용하여 상기 각각의 학습 서비스의 하위 문제를 해결하기 위한 각각의 사용자 장비(UE_1~UE_N)에 따른 에너지 소비량을 산출할 수 있다.
멀티 연합 학습 서비스 오케스트레이터는 상기 각각의 사용자 장비(UE_1~UE_N)의 전송 정보를 이용하여 상기 학습 서비스의 전체 로컬 시간에 해당하는 상기 각각의 사용자 장비(UE_1~UE_N)의 업링크 전송의 에너지 소비량을 산출한다(단계 S320).
단계 S320에 대한 일 실시예에서, 멀티 연합 학습 서비스 오케스트레이터는 상기 각각의 사용자 장비(UE_1~UE_N)의 업링크 전송 시간, 상기 각각의 사용자 장비(UE_1~UE_N)의 송신 전력, 각 사용자 장비(UE_1~UE_N)의 총 대역폭의 비율 및 사용자 장비(UE_1~UE_N) 별로 로컬 변경 사항을 적용한 후 글로벌 변화를 브로드캐스트하기 위한 다운 링크 전송 시간을 이용하여 상기 각각의 사용자 장비(UE_1~UE_N)의 업링크 전송의 에너지 소비량을 산출할 수 있다.
멀티 연합 학습 서비스 오케스트레이터는 상기 각각의 사용자 장비(UE_1~UE_N)에 따른 에너지 소비량 및 상기 각각의 사용자 장비(UE_1~UE_N)의 전송 정보를 이용하여 각 글로벌 라운드에 대한 전체 사용자 장비(UE_1~UE_N)의 총 에너지 소비량을 산출한다(단계 S330).
단계 S330에 대한 일 실시예에서, 멀티 연합 학습 서비스 오케스트레이터는 상기 사용자 장비(UE_1~UE_N)의 총 대역폭의 비율, 상기 각각의 학습 서비스의 업링크 전송에 대한 에너지 소비량, 상기 각각의 학습 서비스의 하위 문제를 해결하기 위한 각각의 사용자 장비(UE_1~UE_N)에 따른 에너지 소비량 및 상기 사용자 장비(UE_1~UE_N)의 CPU 사이클 주기를 이용하여 각 글로벌 라운드에 대한 전체 사용자 장비(UE_1~UE_N)의 총 에너지 소비량을 산출할 수 있다.
멀티 연합 학습 서비스 오케스트레이터는 상기 사용자 장비(UE_1~UE_N)에 따른 에너지 소비량, 상기 학습 서비스의 전체 로컬 시간에 해당하는 전송 속도 및 상기 전체 사용자 장비(UE_1~UE_N)의 총 에너지 소비량을 이용하여 상기 하위 문제를 해결한다(단계 S340).
한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 이는 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명 사상은 아래에 기재된 특허청구범위에 의해서만 파악되어야 하고, 이의 균등 또는 등가적 변형 모두는 본 발명 사상의 범주에 속한다고 할 것이다.
110: 에너지 소비량 산출부,
120: 업링크 전송용 에너지 소비량 산출부
130: 총 에너지 소비량 산출부,
140: 하위 문제 해결부

Claims (8)

  1. 멀티 연합 학습 서비스 오케스트레이터에서 실행되는 다중 학습 서비스용 리소스 할당 방법에 있어서,
    각각의 학습 서비스의 하위 문제를 해결하기 위한 각각의 사용자 장비에 따른 에너지 소비량을 산출하는 단계;
    상기 각각의 사용자 장비의 전송 정보를 이용하여 상기 학습 서비스의 전체 로컬 시간에 해당하는 상기 각각의 사용자 장비의 업링크 전송의 에너지 소비량을 산출하는 단계;
    상기 각각의 사용자 장비에 따른 에너지 소비량 및 상기 각각의 사용자 장비의 전송 정보를 이용하여 각 글로벌 라운드에 대한 전체 사용자 장비의 총 에너지 소비량을 산출하는 단계;
    상기 사용자 장비에 따른 에너지 소비량, 상기 학습 서비스의 전체 로컬 시간에 해당하는 전송 속도 및 상기 전체 사용자 장비의 총 에너지 소비량을 이용하여 상기 하위 문제를 해결하는 단계를 포함하는 것을 특징으로 하는
    멀티 연합 학습 서비스 방법.
  2. 제1항에 있어서,
    상기 각각의 학습 서비스의 하위 문제를 해결하기 위한 각각의 사용자 장비에 따른 에너지 소비량을 산출하는 단계는
    상기 각각의 학습 서비스를 위한 연합 학습 계획, 상기 사용자 장비의 CPU 사이클 주파수, 상기 학습 서비스에 속하는 데이터 중 특정 데이터를 실행하는 각각의 사용자 장비를 위한 CPU 사이클의 수 및 컴퓨팅 칩셉의 유효 캐패시턴스 계수를 이용하여 상기 각각의 학습 서비스의 하위 문제를 해결하기 위한 각각의 사용자 장비에 따른 에너지 소비량을 산출하는 단계를 포함하는 것을 특징으로 하는
    멀티 연합 학습 서비스 방법.
  3. 제1항에 있어서,
    상기 각각의 사용자 장비의 업링크 전송의 에너지 소비량을 산출하는 단계는
    상기 각각의 사용자 장비의 업링크 전송 시간, 상기 각각의 사용자 장비의 송신 전력, 각 사용자 장비의 총 대역폭의 비율 및 사용자 장비 별로 로컬 변경 사항을 적용한 후 글로벌 변화를 브로드캐스트하기 위한 다운 링크 전송 시간을 이용하여 상기 각각의 사용자 장비의 업링크 전송의 에너지 소비량을 산출하는 단계를 포함하는 것을 특징으로 하는
    멀티 연합 학습 서비스 방법.
  4. 제1항에 있어서,
    상기 각 글로벌 라운드에 대한 전체 사용자 장비의 총 에너지 소비량을 산출하는 단계는
    상기 사용자 장비의 총 대역폭의 비율, 상기 각각의 학습 서비스의 업링크 전송에 대한 에너지 소비량, 상기 각각의 학습 서비스의 하위 문제를 해결하기 위한 각각의 사용자 장비에 따른 에너지 소비량 및 상기 사용자 장비의 CPU 사이클 주기를 이용하여 각 글로벌 라운드에 대한 전체 사용자 장비의 총 에너지 소비량을 산출하는 것을 특징으로 하는
    멀티 연합 학습 서비스 방법.
  5. 멀티 연합 학습 서비스 오케스트레이터에 있어서,
    각각의 학습 서비스의 하위 문제를 해결하기 위한 각각의 사용자 장비에 따른 에너지 소비량을 산출하는 에너지 소비량 산출부;
    상기 각각의 사용자 장비의 전송 정보를 이용하여 상기 학습 서비스의 전체 로컬 시간에 해당하는 상기 각각의 사용자 장비의 업링크 전송의 에너지 소비량을 산출하는 업링크 전송용 에너지 소비량 산출부;
    상기 각각의 사용자 장비에 따른 에너지 소비량 및 상기 각각의 사용자 장비의 전송 정보를 이용하여 각 글로벌 라운드에 대한 전체 사용자 장비의 총 에너지 소비량을 산출하는 총 에너지 소비량 산출부; 및
    상기 사용자 장비에 따른 에너지 소비량, 상기 학습 서비스의 전체 로컬 시간에 해당하는 전송 속도 및 상기 전체 사용자 장비의 총 에너지 소비량을 이용하여 상기 하위 문제를 해결하는 하위 문제 해결부를 포함하는 것을 특징으로 하는
    멀티 연합 학습 서비스 오케스트레이터.
  6. 제5항에 있어서,
    상기 에너지 소비량 산출부는
    상기 각각의 학습 서비스를 위한 연합 학습 계획, 상기 사용자 장비의 CPU 사이클 주파수, 상기 학습 서비스에 속하는 데이터 중 특정 데이터를 실행하는 각각의 사용자 장비를 위한 CPU 사이클의 수 및 컴퓨팅 칩셉의 유효 캐패시턴스 계수를 이용하여 상기 각각의 학습 서비스의 하위 문제를 해결하기 위한 각각의 사용자 장비에 따른 에너지 소비량을 산출하는 것을 특징으로 하는
    멀티 연합 학습 서비스 오케스트레이터.
  7. 제5항에 있어서,
    상기 업링크 전송용 에너지 소비량 산출부는
    상기 각각의 사용자 장비의 업링크 전송 시간, 상기 각각의 사용자 장비의 송신 전력, 각 사용자 장비의 총 대역폭의 비율 및 사용자 장비 별로 로컬 변경 사항을 적용한 후 글로벌 변화를 브로드캐스트하기 위한 다운 링크 전송 시간을 이용하여 상기 각각의 사용자 장비의 업링크 전송의 에너지 소비량을 산출하는 단계를 포함하는 것을 특징으로 하는
    멀티 연합 학습 서비스 오케스트레이터.
  8. 제5항에 있어서,
    상기 총 에너지 소비량 산출부는
    상기 사용자 장비의 총 대역폭의 비율, 상기 각각의 학습 서비스의 업링크 전송에 대한 에너지 소비량, 상기 각각의 학습 서비스의 하위 문제를 해결하기 위한 각각의 사용자 장비에 따른 에너지 소비량 및 상기 사용자 장비의 CPU 사이클 주기를 이용하여 각 글로벌 라운드에 대한 전체 사용자 장비의 총 에너지 소비량을 산출하는 것을 특징으로 하는
    멀티 연합 학습 서비스 오케스트레이터.
KR1020200160681A 2019-11-29 2020-11-26 에지 컴퓨팅에서 멀티 연합 학습 서비스 오케스트레이터 및 이의 실행 방법 KR102439426B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20190157109 2019-11-29
KR1020190157109 2019-11-29

Publications (3)

Publication Number Publication Date
KR20210067911A KR20210067911A (ko) 2021-06-08
KR102439426B1 true KR102439426B1 (ko) 2022-09-02
KR102439426B9 KR102439426B9 (ko) 2022-12-05

Family

ID=76399567

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200160681A KR102439426B1 (ko) 2019-11-29 2020-11-26 에지 컴퓨팅에서 멀티 연합 학습 서비스 오케스트레이터 및 이의 실행 방법

Country Status (1)

Country Link
KR (1) KR102439426B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102413116B1 (ko) * 2021-12-02 2022-06-23 세종대학교산학협력단 인공 신경망의 계층 특성에 기반한 연합 학습 방법

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120032729A (ko) * 2010-09-29 2012-04-06 주식회사 케이티 네트워크의 에너지 효율 산출 장치 및 방법
KR101863324B1 (ko) * 2015-12-31 2018-05-31 서강대학교산학협력단 클라우드 환경에서 네트워크 기능 가상화의 서비스 기능 체이닝을 위한 가상 네트워크 기능 배치 및 재구성 방법
KR102236302B1 (ko) * 2018-05-18 2021-04-05 박병훈 빅데이터 기반의 인공지능 통합 플랫폼 서비스 방법

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Anusha Lalitha 외 3명. 'Fully Decentralized Federated Learning'. 3rd Workshop on Bayesian Deep Learning(NeurIPS), 2018, pp.1-9.
Jakub KONEČNÝ 외 3명. 'Federated Optimization: Distributed Machine Learning for On-Device Intelligence'. arXiv preprint arXiv:1610.02527, 2016, pp.1-38.

Also Published As

Publication number Publication date
KR102439426B9 (ko) 2022-12-05
KR20210067911A (ko) 2021-06-08

Similar Documents

Publication Publication Date Title
CN108809695B (zh) 一种面向移动边缘计算的分布上行链路卸载策略
Al-Shuwaili et al. Joint uplink/downlink optimization for backhaul-limited mobile cloud computing with user scheduling
WO2019200716A1 (zh) 面向雾计算的节点计算任务调度方法及其设备
CN107241767B (zh) 一种移动协同计算的方法及装置
WO2016161677A1 (zh) 一种业务卸载方法及系统
WO2018176385A1 (en) System and method for network slicing for service-oriented networks
CN113064665B (zh) 一种基于李雅普诺夫优化的多服务器计算卸载方法
WO2019129169A1 (zh) 用于无线通信的电子设备和方法以及计算机可读存储介质
Ebrahimzadeh et al. Cooperative computation offloading in FiWi enhanced 4G HetNets using self-organizing MEC
US9031024B2 (en) Radio resource management for distributed cellular systems
Duan et al. Resource management for intelligent vehicular edge computing networks
Pratap et al. Bandwidth-constrained task throughput maximization in IoT-enabled 5G networks
KR102439426B1 (ko) 에지 컴퓨팅에서 멀티 연합 학습 서비스 오케스트레이터 및 이의 실행 방법
WO2020108506A1 (zh) 干扰源识别方法、相关设备及计算机存储介质
Li et al. Federated orchestration for network slicing of bandwidth and computational resource
CN111511028A (zh) 一种多用户资源分配方法、装置、系统及存储介质
Nguyen et al. Optimization of resource allocation for underlay device-to-device communications in cellular networks
Gao et al. Developing energy-aware task allocation schemes in cloud-assisted mobile workflows
CN114698088A (zh) 确定传输时延的方法、装置、设备及存储介质
JP2013517684A (ja) 通信システム内でリソース使用を制御する方法
US10182433B2 (en) System and method for overlapping rate region zoning
Yu et al. Coalition-based energy efficient offloading strategy for immersive collaborative applications in femto-cloud
US20210212022A1 (en) Control apparatus, resource allocation method and program
Adian et al. An auction-based approach for spectrum leasing in cooperative cognitive radio networks: When to lease and how much to be leased
CN111092779A (zh) 网络资源配置方法、装置、计算机设备及可读存储介质

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
G170 Re-publication after modification of scope of protection [patent]