KR102515188B1 - 에지 컴퓨팅에서 다중 ami 데이터 스트림 가속처리를 위한 하이브리드 딥 러닝 스케줄링 방법 - Google Patents

에지 컴퓨팅에서 다중 ami 데이터 스트림 가속처리를 위한 하이브리드 딥 러닝 스케줄링 방법 Download PDF

Info

Publication number
KR102515188B1
KR102515188B1 KR1020200048531A KR20200048531A KR102515188B1 KR 102515188 B1 KR102515188 B1 KR 102515188B1 KR 1020200048531 A KR1020200048531 A KR 1020200048531A KR 20200048531 A KR20200048531 A KR 20200048531A KR 102515188 B1 KR102515188 B1 KR 102515188B1
Authority
KR
South Korea
Prior art keywords
hybrid
distribution
data
deep learning
edge computing
Prior art date
Application number
KR1020200048531A
Other languages
English (en)
Other versions
KR20210130865A (ko
Inventor
윤찬현
이창하
김성환
Original Assignee
한국전력공사
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전력공사, 한국과학기술원 filed Critical 한국전력공사
Priority to KR1020200048531A priority Critical patent/KR102515188B1/ko
Priority to US17/231,738 priority patent/US20210334653A1/en
Publication of KR20210130865A publication Critical patent/KR20210130865A/ko
Application granted granted Critical
Publication of KR102515188B1 publication Critical patent/KR102515188B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/2866—Architectures; Arrangements
    • H04L67/289—Intermediate processing functionally located close to the data consumer application, e.g. in same machine, in same home or in same sub-network
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Neurology (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Complex Calculations (AREA)

Abstract

본 발명은 에지 컴퓨팅에서 다중 AMI 데이터 스트림 가속처리를 위한 하이브리드 딥 러닝 스케줄링 방법에 관한 것으로, 에지 컴퓨팅에서 다중 AMI(Advanced Metering Infrastructure) 데이터 스트림 가속처리를 위한 하이브리드 딥 러닝 스케줄링 방법에 있어서, AMI 데이터에서 발생하는 편향된 데이터 분포도 변화를 감지하고, 이를 바탕으로 각 계산이 비교적 빠른 온라인 기울기를 에지 서버에서 계산하고, 계산 요구량이 큰 정규화된 기울기는 클라우드 서버에서 하이브리드 스케줄러에 의해 선택적으로 계산하되, 상기 하이브리드 스케줄러가 (1)데이터 스트림 분포도 프로파일링 단계, (2) 메모리 버퍼 업데이트 단계, 및 (3)하이브리드 스케줄링 단계의 총 세 가지 단계를 수행한다.

Description

에지 컴퓨팅에서 다중 AMI 데이터 스트림 가속처리를 위한 하이브리드 딥 러닝 스케줄링 방법{HYBRID DEEP LEARNING SCHEDULING METHOD FOR ACCELERATED PROCESSING OF MULTI-AMI DATA STREAM IN EDGE COMPUTING}
본 발명은 에지 컴퓨팅에서 다중 AMI(Advanced Metering Infrastructure) 데이터 스트림 가속처리를 위한 하이브리드 딥 러닝 스케줄링 방법에 관한 것으로, 보다 상세하게는 에지-클라우드 환경에서 기울기 스케줄링을 하여 전체 시스템의 부하를 줄일 수 있도록 하는, 에지 컴퓨팅에서 다중 AMI 데이터 스트림 가속처리를 위한 하이브리드 딥 러닝 스케줄링 방법에 관한 것이다.
일반적으로 개별 가구의 전력 사용량을 특정하여 데이터로 전송하는 AMI(Advanced Metering Infrastructure)에서 전송 오류나 시스템 장애로 인한 결측 데이터(Missing Data)를 보간 또는 전력 소모 패턴 기반 예측을 위해 데이터 분석을 하게 되는데 통계적인 기법이나 머신 러닝 기법을 사용하고 있다.
하지만 기존의 통계적인 기법이나 머신 러닝 기법은 딥 러닝 기법에 비해 분석 정확도가 떨어진다는 연구 결과가 최근 계속해서 발표되고 있다. 특히, 시간에 따라서 통계적 특성이 바뀌는 AMI 데이터 스트림을 처리하기 위해서 시계열 데이터 분석을 위한 딥 러닝 모델을 시간에 따른 통계적인 특성을 지속적으로 학습시킬 필요가 있다.
다중 AMI 데이터를 시간에 따라서 지속적으로 학습시킬 경우 k-최근접 이웃 알고리즘(k-NN)과 k-평균 알고리즘(k-means)을 포함한 기존의 머신 러닝 기법을 시간에 따라 달라지는 데이터 특성에 대응할 수 있어야한다.
기존에 공개된 기술에 따르면 시간에 따라 발생하는 예상 외 결측 데이터를 보간하기 위해 k-최근접 이웃 알고리즘(k-NN)을 사용하여 기존 데이터 분포도에 벗어나는 기대되지 않은 데이터에 대해 비슷한 과거 상태를 참고하여 결측 데이터를 보간한다. 그러나 기존에 공개된 해당 실험 결과를 따르면, 고압 전력에 비해 데이터 특성 변화가 큰 저압 전력 결측 데이터에 대한 보간 정확도가 낮은 문제가 발생한다. 또한 다중 AMI 데이터 스트림 상황을 고려하지 않은 기법이기 때문에 실제 AMI 데이터 관리/분석 시스템에 적용시키기 어려운 점이 존재한다.
최근 결측 데이터 보간 분야에서 발표된 논문에 따르면 k-최근접 이웃 알고리즘(k-NN) 방법보다 보간 정확도가 더 높고, 더 넓은 결측 데이터 범위에 대해 효과적인 딥 러닝 기반 오토인코더 기법이 제안되었다.
따라서 AMI 데이터 해석에 있어서 머신 러닝 기법보다 효과적인 딥 러닝 기법 적용이 필요하지만 머신 러닝과 마찬가지로 딥 러닝 역시 시간에 따른 달라지는 데이터 특성을 반영할 기법이 필요한 상황이다.
이에 따라 최근에는 증분 학습(Incremental Learning)을 통해 전체 데이터 셋에 대해 한번만 학습시키는 것이 아닌 입력되는 새로운 데이터 성질을 가지는 스트림 데이터를 모델에 증분적으로 계속해서 학습시키는 온라인 학습 방법이 제안되었다.
그러나 이러한 증분 학습을 이용한 딥 러닝 기법을 AMI 관리/분석 플랫폼 (MDMS)에 실제 적용시킬 경우에는 아래와 같은 문제점이 발생한다.
기본적으로 딥 러닝 모델의 복잡한 계산 과정과 수많은 모델 파라미터로 인한 처리 시간 증가 및 로 시스템에 큰 부하를 불러일으킨다는 점이다. 그래서 개인별 딥 러닝 모델을 학습하는 것보다 다중 사용자의 데이터를 학습시킨 딥 러닝 모델을 사용하는 것이 시스템 부하를 줄이는데 효과가 있다.
그런데 상기 증분 학습은 데이터의 분포도가 비교적 크게 변하지 않는 상황에서만 효과적이고, 데이터 분포도가 크게 변하는 상황에서는 좋은 학습 성능을 보이지 못하고 있다. 이전에 보인 다중 사용자의 전력 패턴을 학습시킬 때, 같은 사용자의 데이터 분포도가 시간에 따라 변화하는 것보다, 전혀 다른 사용자 전력 사용량을 학습시킬 때 생기는 데이터 분포도가 변화가 더 크게 변화한다는 것이다.
실제로 다중 AMI 스트림 데이터를 코사인 유사도 도수 분포도(cosine similarity frequency distribution) 기반으로 데이터 분포도 변화를 확인했을 때, 사용자 고유의 편향된 데이터 분포도(skewed data distribution) 끼리의 변화로 인해 생길 수 있는 문제이며 실제로 빅 데이터 처리 시스템에서 증분 학습을 적용했을 시 발생할 수 있는 문제이다.
한편 지속적인 학습 기법은 이미 학습시킨 데이터를 소량 저장해두는 용량이 제한된 메모리 버퍼
Figure 112020041323571-pat00001
를 두어 데이터 예제를 저장해둔다. 새로운 이미지 클래스를 학습시킬 때 저장해둔 이전 이미지 클래스들을 가지는 메모리 버퍼를 다시 딥 러닝 모델에 재생하여 딥 러닝 모델 최적화 과정에 사용될 기울기
Figure 112020041323571-pat00002
(
Figure 112020041323571-pat00003
)를 계산하고 현재 학습시키는 이미지 클래스 데이터를 딥 러닝 모델에 통과시켜 마찬가지로 딥 러닝 모델 최적화 과정에 사용될 기울기
Figure 112020041323571-pat00004
를 계산한다.
이전 기울기와 현재 기울기끼리 내적했을 때 항상 양의 실수가 되도록 하는 이전 정보가 반영된 기울기 또는 정규화된 기울기인
Figure 112020041323571-pat00005
를 계산하기 위해 다음과 같은 최적화 문제를 푼다. 계산된 투사 기울기
Figure 112020041323571-pat00006
로 모델 파라미터를 업데이트하면 점차 클래스가 증가하는 상황에서 모델이 이전 이미지 클래스로 학습된 정보를 잊지 않고 학습이 가능하다고 보였다.
하지만 상기 방법은
Figure 112020041323571-pat00007
를 구하기 위해 2차 프로그램을 풀고 있어서 많은 계산 시간을 추가로 필요하게 된다. 이러한 방법은 온라인 러닝에 사용하기에는 딥 러닝 모델 자체의 복잡한 계산 과정에 의해 요구되는 긴 훈련 시간과 함께 추가적인 계산 시간이 부담되는 문제점이 있다.
본 발명의 배경기술은 대한민국 공개특허 10-2018-0082606호(2018.07.18. 공개, 예측 모델에 기반하여 데이터 취득 파라미터들을 변경하기 위한 컴퓨터 구조 및 방법)에 개시되어 있다.
본 발명의 일 측면에 따르면, 본 발명은 상기와 같은 문제점을 해결하기 위해 창작된 것으로서, 에지-클라우드 환경에서 기울기 스케줄링을 하여 전체 시스템의 부하를 줄일 수 있도록 하는, 에지 컴퓨팅에서 다중 AMI 데이터 스트림 가속처리를 위한 하이브리드 딥 러닝 스케줄링 방법을 제공하는 데 그 목적이 있다.
본 발명의 일 측면에 따른 에지 컴퓨팅에서 다중 AMI 데이터 스트림 가속처리를 위한 하이브리드 딥 러닝 스케줄링 방법은, 에지 컴퓨팅에서 다중 AMI(Advanced Metering Infrastructure) 데이터 스트림 가속처리를 위한 하이브리드 딥 러닝 스케줄링 방법에 있어서, AMI 데이터에서 발생하는 편향된 데이터 분포도 변화를 감지하고, 이를 바탕으로 각 계산이 비교적 빠른 온라인 기울기를 에지 서버에서 계산하고, 계산 요구량이 큰 정규화된 기울기는 클라우드 서버에서 하이브리드 스케줄러에 의해 선택적으로 계산하되, 상기 하이브리드 스케줄러가 (1)데이터 스트림 분포도 프로파일링 단계, (2) 메모리 버퍼 업데이트 단계, 및 (3)하이브리드 스케줄링 단계의 총 세 가지 단계를 수행하는 것을 특징으로 한다.
본 발명에 있어서, 상기 하이브리드 스케줄러는, 상기 (1)데이터 스트림 분포도 프로파일링 단계에서, 매 스트림 배열(
Figure 112020041323571-pat00008
) 마다
Figure 112020041323571-pat00009
차원 전력 소비 AMI 데이터(
Figure 112020041323571-pat00010
)을 취합된 스트림 집합
Figure 112020041323571-pat00011
에서 코사인 유사도를 기준으로 도수 분포도를 인식하여 분포도 변화가 생기는지 확인하는 것을 특징으로 한다.
본 발명에 있어서, 상기 하이브리드 스케줄러는, 상기 (2)메모리 버퍼 업데이트 단계에서, 분포도 변화가 생겼다고 판단될 경우 새로운 데이터 분포도를 메모리 버퍼에 저장하는 것을 특징으로 한다.
본 발명에 있어서, 상기 하이브리드 스케줄러는, 상기 (3)하이브리드 스케줄링 단계에서, 새로운 데이터 분포도에 따른 편향된 데이터 분포도 변화 문제를 해결하기 위한 스케줄링 기법을 수행하는 것을 특징으로 한다.
본 발명에 있어서, 상기 하이브리드 스케줄러는, 새로운 데이터 스트림이 입력되면, 에지 서버에서 온라인 기울기(Gradient)를 계산하도록 명령하고, 아울러 상기 (1)데이터 스트림 분포도 프로파일링 단계에서, 전력 소비 데이터는 모두 양수인 것을 고려하여 전력 소비를 잘 표현할 수 있는 모든 축으로부터 같은 거리에 있는
Figure 112020041323571-pat00012
벡터 기준으로 데이터 스트림으로부터 코사인 유사도 지표를 아래의 수학식 1을 이용하여 계산하고, 또한 도수 분포도를 의미하는 히스토그램 버퍼(
Figure 112020041323571-pat00013
)로 이루어진 집합
Figure 112020041323571-pat00014
을 아래의 수학식 2를 이용하여 생성하는 작업을 수행하는 것을 특징으로 한다.
(수학식 1)
Figure 112020041323571-pat00015
(수학식 2)
Figure 112020041323571-pat00016
여기서
Figure 112020041323571-pat00017
은 메모리 버퍼의 크기,
Figure 112020041323571-pat00018
,
Figure 112020041323571-pat00019
, 그리고
Figure 112020041323571-pat00020
이다.
본 발명에 있어서, 상기 하이브리드 스케줄러는, 상기 (2)메모리 버퍼 업데이트 단계에서, 현재 스트림 셋에 의해 편향된 분포도를 줄이기 위해 이산 균등 분포(discrete uniform distribution)의 편포도(skewness)가 0인 점을 이용하여 코사인 유사도 기반 분포도가 균등하게 분산된 집합(
Figure 112020041323571-pat00021
)을 생성하는 것을 특징으로 한다.
본 발명에 있어서, 상기 코사인 유사도 기반 분포도가 균등하게 분산된 집합(
Figure 112020041323571-pat00022
)을 생성하기 위하여 선택되는 데이터들의 다양한 분포도를 유지하기 위하여, 상기 하이브리드 스케줄러는, 아래의 수학식 3에 의해 각 유사도 구간 내에서 임의로 선택되는 것을 특징으로 한다.
(수학식 3)
Figure 112020041323571-pat00023
여기서 각 히스토그램 버퍼(
Figure 112020041323571-pat00024
)에서 포함하고 있는 데이터 중에서 선택된 균등 분산 집합(
Figure 112020041323571-pat00025
) 의
Figure 112020041323571-pat00026
번째 데이터를
Figure 112020041323571-pat00027
이라 한다.
본 발명에 있어서, 상기 하이브리드 스케줄러는, 상기 코사인 유사도 기반 분포도가 균등하게 분산된 집합(
Figure 112020041323571-pat00028
)인 균등 분산 집과 실제 데이터를 저장하고 있는 이전 메모리 버퍼(
Figure 112020041323571-pat00029
)의 코사인 유사도 분산도를 비교하여, 이전 메모리 버퍼보다 상기 균등 분산 집합의 분산도가 더 큰 경우 이전 메모리 버퍼(
Figure 112020041323571-pat00030
)의 데이터 셋을 아래의 수학식 4를 이용하여 균등 분산 집합으로 새롭게 업데이트하는 것을 더 포함하는 것을 특징으로 한다.
(수학식 4)
Figure 112020041323571-pat00031
본 발명에 있어서, 상기 메모리 버퍼가 업데이트 됐을 경우, 상기 하이브리드 스케줄러가 기억해야 할 분포도가 더 생겼다는 것을 의미하며, 이를 나타내는 버퍼 전환 표시기(
Figure 112020041323571-pat00032
)를 다음 수학식 5와 같이 설정하는 것을 특징으로 한다.
(수학식 5)
Figure 112020041323571-pat00033
본 발명에 있어서, 상기 하이브리드 스케줄러는, 상기 (3)하이브리드 스케줄링 단계에서, 현재 데이터 스트림의 분포도를 고려했을 때 분포도가 더 커져서 버퍼 전환 표시기(
Figure 112020041323571-pat00034
)가 1을 가리킬 경우, 클라우드 서버에서 오프라인 기울기(Gradient)를 계산하고, 에지 서버에서 계산된 온라인 기울기와 오프라인 기울기를 이용하여 정규화가 반영된 기울기(Gradient)를 계산하고, 이 계산 결과를 이용하여 모델 파라미터를 업데이트 하고, 상기 버퍼 전환 표시기(
Figure 112020041323571-pat00035
)가 1이 아닌 경우에는 곧바로 에지 서버에서 계산된 온라인 기울기를 사용하여 모델 파라미터 업데이트를 수행하는 것을 특징으로 한다.
본 발명의 일 측면에 따르면, 본 발명은 에지-클라우드 환경에서 기울기 스케줄링을 하여 전체 시스템의 부하를 줄일 수 있도록 한다.
도 1은 본 실시예에 따른 에지 컴퓨팅에서 다중 AMI 데이터 스트림 가속처리를 위한 하이브리드 딥 러닝 스케줄링 방법을 설명하기 위한 예시도.
도 2는 본 발명의 일 실시예에 따른 에지 컴퓨팅에서 다중 AMI 데이터 스트림 가속처리를 위한 하이브리드 딥 러닝 스케줄링 방법을 설명하기 위한 예시도.
도 3은 본 발명의 일 실시예에 따른 에지 컴퓨팅에서 다중 AMI 데이터 스트림 가속처리를 위한 하이브리드 딥 러닝 스케줄링 방법을 설명하기 위한 흐름도.
이하, 첨부된 도면을 참조하여 본 발명에 따른 에지 컴퓨팅에서 다중 AMI 데이터 스트림 가속처리를 위한 하이브리드 딥 러닝 스케줄링 방법의 일 실시예를 설명한다.
이 과정에서 도면에 도시된 선들의 두께나 구성요소의 크기 등은 설명의 명료성과 편의상 과장되게 도시되어 있을 수 있다. 또한, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례에 따라 달라질 수 있다. 그러므로 이러한 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
이미 상술한 바와 같이 종래에는 기울기 정규화 방법을 사용하여 크게 변하는 편향된 데이터 분포도에 대해 이전에 학습한 정보를 현재 학습하려는 정보에 반영할 때, 부가적인 계산을 통해 정확도에 큰 개선을 불러올 수 있었지만, 처리 속도가 느려지고 다중 AMI 환경에서 시스템 부하가 커지는 문제점이 있었다.
즉, 종래의 기술은 부가적인 계산으로 인해 시스템 부하 문제를 심화시킨다는 문제가 있음을 고려하여, 본 실시예에서는 에지-클라우드 환경에서 기울기 스케줄링을 하여 전체 시스템의 부하를 줄이는 하이브리드 스케줄링 방법을 제공하고자 하는 것이다.
도 1은 본 실시예에 따른 에지 컴퓨팅에서 다중 AMI 데이터 스트림 가속처리를 위한 하이브리드 딥 러닝 스케줄링 방법을 설명하기 위한 예시도로서, 이에 도시된 바와 같이 대규모 AMI 시계열 전력 데이터(AMI Data Pattern Stream)가 수집되어 저지연으로 빠르게 에지 서버(100)로 전송되고, 이 에지 서버(100)에서 계산된 온라인 기울기(online gradient)를 통해 에지 서버(100)에서 추론하고 있는 예측모델에 반영하다가, AMI 데이터 스트림의 편향된 데이터 분포도에 대한 부정적인 영향 감소를 위해 클라우드 서버(200)에서 분포도 변화를 인식했을 때, 클라우드 서버(200)의 높은 계산 능력으로 히스토리컬 데이터와 함께 복잡한 계산량을 요구하는 정규화된 기울기(또는 투사 기울기, regularized gradient)를 계산하여, 이를 에지 서버(100)로 보내 다시 모델을 편향된 데이터 분포도에 적응적인 예측 모델로 업데이트한다.
다시 말해, 본 실시예에 따른 에지 컴퓨팅에서 다중 AMI 데이터 스트림 가속처리를 위한 하이브리드 딥 러닝 스케줄링 방법은, AMI 데이터에서 발생하는 편향된 데이터 분포도 변화를 감지하고, 이를 바탕으로 각 계산이 비교적 빠른 온라인 기울기를 에지 서버(에지 클러스터 포함)(100)에서 계산하고, 계산 요구량이 큰 정규화된 기울기는 클라우드 서버(클라우드 클러스터 포함)(200)에서 하이브리드 스케줄러(도 2의 300 참조)에 의해 선택적으로 계산된다.
상기 하이브리드 스케줄러(300)는 (1)데이터 스트림 분포도 프로파일링 단계, (2) 메모리 버퍼 업데이트 단계, 및 (3)하이브리드 스케줄링 단계의 총 세 가지 단계로 동작하며, 이에 대해 도 2 및 도 3을 참조하여 보다 구체적으로 설명한다.
도 2는 본 발명의 일 실시예에 따른 에지 컴퓨팅에서 다중 AMI 데이터 스트림 가속처리를 위한 하이브리드 딥 러닝 스케줄링 방법을 설명하기 위한 예시도이고, 도 3은 본 발명의 일 실시예에 따른 에지 컴퓨팅에서 다중 AMI 데이터 스트림 가속처리를 위한 하이브리드 딥 러닝 스케줄링 방법을 설명하기 위한 흐름도이다.
상기 하이브리드 스케줄러(300)는 매 스트림 배열(
Figure 112020041323571-pat00036
) 마다
Figure 112020041323571-pat00037
차원 전력 소비 AMI 데이터(
Figure 112020041323571-pat00038
)을 취합된 스트림 집합
Figure 112020041323571-pat00039
에서 코사인 유사도를 기준으로 도수 분포도를 인식하여 분포도 변화가 생기는지 확인하고(즉, (1)데이터 스트림 분포도 프로파일링 단계), 분포도 변화가 생겼다고 판단될 경우 새로운 데이터 분포도를 메모리 버퍼에 저장하고(즉, (2)메모리 버퍼 업데이트 단계), 새로운 데이터 분포도에 따른 편향된 데이터 분포도 변화 문제를 해결하기 위한 스케줄링 기법을 수행(즉, (3)하이브리드 스케줄링 단계) 한다.
상기 하이브리드 스케줄러(300)는, 새로운 데이터 스트림이 입력되면(S101), 하이브리드 스케줄러(300)가 에지 서버(100)에서 온라인 기울기(Gradient)를 계산하도록 명령하고(S102), 아울러 (1)데이터 스트림 분포도 프로파일링 단계에서, 전력 소비 데이터는 모두 양수인 것을 고려하여 전력 소비를 잘 표현할 수 있는 모든 축으로부터 같은 거리에 있는
Figure 112020041323571-pat00040
벡터 기준으로 데이터 스트림으로부터 코사인 유사도(수학식 1) 지표를 계산하고(S301), 다음 도수분포도를 의미하는 히스토그램 버퍼(
Figure 112020041323571-pat00041
, 수학식 2)로 이루어진 집합
Figure 112020041323571-pat00042
을 생성(또는 인식)하는 작업을 수행한다(S302).
Figure 112020041323571-pat00043
Figure 112020041323571-pat00044
여기서
Figure 112020041323571-pat00045
은 메모리 버퍼의 크기,
Figure 112020041323571-pat00046
,
Figure 112020041323571-pat00047
, 그리고
Figure 112020041323571-pat00048
이다.
따라서 메모리 버퍼 사이즈만큼 분포도를 나누어 도수분포도 인식을 한다.
또한 (2)메모리 버퍼 업데이트 단계에서는 현재 스트림 셋에 의해 편향된 분포도를 줄이기 위해 이산 균등 분포(discrete uniform distribution)의 편포도(skewness)가 0인 점을 이용하여 코사인 유사도 기반 분포도가 균등하게 분산된 집합(
Figure 112020041323571-pat00049
)을 생성한다(S303).
여기서 각 히스토그램 버퍼(
Figure 112020041323571-pat00050
)에서 포함하고 있는 데이터 중에서 선택된 균등 분산 집합(
Figure 112020041323571-pat00051
) 의
Figure 112020041323571-pat00052
번째 데이터를
Figure 112020041323571-pat00053
이라 한다.
이 때 선택되는 데이터들은 다양한 분포도를 유지하기 위해 각 유사도 구간 내에서 임의로 선택된다(수학식 3).
Figure 112020041323571-pat00054
마지막으로 다양한 패턴을 저장하기 위해 앙상블의 바이어스(bias)와 변화(variance)가 러닝 기반 모델에 주는 영향을 연구한 공개 기술에 따르면, 대표적인 데이터의 변화(variance)가 높을수록 학습 성능이 높다는 것을 알 수 있으며, 이에 따라 새로 구성된 균등 분산 집합(
Figure 112020041323571-pat00055
)과 실제 데이터를 저장하고 있는 이전 메모리 버퍼(
Figure 112020041323571-pat00056
)의 코사인 유사도 분산도(즉, 분산 정도)를 비교하여(S304), 이전 메모리 버퍼보다 균등 분산 집합의 분산도가 더 큰(높은) 경우 이전 메모리 버퍼(
Figure 112020041323571-pat00057
)의 데이터 셋을 균등 분산 집합으로 새롭게 업데이트한다(수학식 4)(S305).
Figure 112020041323571-pat00058
이때 버퍼가 업데이트 됐을 경우는 기억해야 할 분포도가 더 생겼다는 것을 의미하므로, 이를 나타내는 버퍼 전환 표시기(
Figure 112020041323571-pat00059
)를 다음 수학식 5와 같이 설정한다.
Figure 112020041323571-pat00060
또한 (3)하이브리드 스케줄링 단계에서는 기울기 정규화 방법을 사용하지만 기존과 다르게 현재 데이터 스트림의 분포도를 고려했을 때, 분포도가 더 커졌을 경우, 즉 더 다양한 패턴을 모델에 학습해야 하는 경우만 수행하게 된다. 즉 버퍼 전환 표시기(
Figure 112020041323571-pat00061
)가 1을 가리킬 때(S306의 예) 정규화한 반영된 기울기를 계산한다(S202).
즉, 상기 하이브리드 스케줄러(300)는 클라우드 서버(200)에서 오프라인 기울기(Gradient)를 계산하고(S201), 에지 서버(S100)에서 계산된 온라인 기울기(S102)와 오프라인 기울기(S201)를 이용하여 반영된 기울기(Gradient)를 계산한다(S202). 그리고 이 결과를 이용하여 하이브리드 스케줄러(S300)는 모델 파라미터를 업데이트 한다(S307).
만약 상기 버퍼 전환 표시기(
Figure 112020041323571-pat00062
)가 1이 아닌 경우에는 곧바로 에지 서버(S100)에서 계산된 온라인 기울기(S102)를 사용하여 모델 파라미터 업데이트를 수행한다(S307).
본 실시예는 에지-클라우드 환경에서 딥 러닝 모델을 증분 학습할 때 딥 러닝 모델의 편향된 분포도에 대한 성능 저하 방지 및 학습 시간을 가속화한다.
본 발명의 효과를 확인하기 위하여 기존 스케줄링 없는 방법과 비교 실험을 진행하였다. 본 발명의 일 실시예에 따른 하이브리드 스케줄링은 기존의 기법 대비 편향된 분포도에 대한 유효한 성능을 보이면서 편향된 분포도 성능 저하를 위해 계산되는 기울기(gradient)들을 스케줄링하기 때문에 전체 학습 시간을 크게 줄이고 있음을 알 수 있다.
본 발명의 일 실시예에 따른 증분 학습보다 높은 정확도(표 1 참조)와 총 학습 시간은 지속적인 학습 기법에 비해 최소 43%를 감소시키는 효과(표 2 참조)를 얻을 수 있음을 알 수 있다.
아래의 표 1은 본 발명의 일 실시예에 따른 하이브리드 스케줄링 기법을 사용했을 시 증분 학습(Incremental Learning)에서 발생하는 문제점을 스케줄링이 없는 기존 기법(without scheduling)과 비슷하게 유효한 성능을 보이는 것을 알 수 있다. 여기서“final ARMSE”는 에러를 나타내며, 이 값이 작을수록 마지막까지 다양한 데이터 분포도를 포함하여 학습에 잘 이용하고 있는지를 나타낸다.
학습 방법 지속적인 학습 기법 증분 학습 기법 본 발명
final-ARMSE 0.0918 0.246 0.0905
아래의 표 2는 본 발명의 일 실시예에 따른 하이브리드 스케줄링 기법을 사용했을 시, 메모리 처리 시간은 ‘Ring buffer’와 비교할 때 최근 데이터만 저장하는 ‘ring buffer’보다 느리지만, AMI class 별로 K-평균 알고리즘(kmeans)을 이용하여 대표적인 데이터만 저장하는 Class-Wise Kmeans 방법보다 빠름을 알 수 있다. 본 발명의 일 실시예에서 스케줄링을 통해 크게 얻을 수 있는 효과는 총 학습시간의 증가로서, 기존과 같은 메모리 버퍼 처리 기법을 사용했지만 스케줄링 없는 CosSim과 비교 시 본 발명의 일 일시예에 따른 하이브리드 스케줄링 기법을 적용했을 경우 43% 학습 시간을 줄이는 효과가 있음을 알 수 있다.
스케줄링 없는 지속적인 학습 기법 본 발명
메모리 처리 방법 Ring buffer Class-Wise Kmeans CosSim CosSim
메모리 처리 시간 (ms) 0.052 492.23 2.62 2.49
총 학습 시간(s) 9.58 9.99 9.09 5.22
이상으로 본 발명은 도면에 도시된 실시예를 참고로 하여 설명되었으나, 이는 예시적인 것에 불과하며, 당해 기술이 속하는 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 기술적 보호범위는 아래의 특허청구범위에 의해서 정하여져야 할 것이다. 또한 본 명세서에서 설명된 구현은, 예컨대, 방법 또는 프로세스, 장치, 소프트웨어 프로그램, 데이터 스트림 또는 신호로 구현될 수 있다. 단일 형태의 구현의 맥락에서만 논의(예컨대, 방법으로서만 논의)되었더라도, 논의된 특징의 구현은 또한 다른 형태(예컨대, 장치 또는 프로그램)로도 구현될 수 있다. 장치는 적절한 하드웨어, 소프트웨어 및 펌웨어 등으로 구현될 수 있다. 방법은, 예컨대, 컴퓨터, 마이크로프로세서, 집적 회로 또는 프로그래밍 가능한 로직 디바이스 등을 포함하는 프로세싱 디바이스를 일반적으로 지칭하는 프로세서 등과 같은 장치에서 구현될 수 있다. 프로세서는 또한 최종-사용자 사이에 정보의 통신을 용이하게 하는 컴퓨터, 셀 폰, 휴대용/개인용 정보 단말기(personal digital assistant: "PDA") 및 다른 디바이스 등과 같은 통신 디바이스를 포함한다.
100 : 에지 서버
200 : 클라우드 서버
300 : 하이브리드 스케줄러

Claims (10)

  1. 에지 컴퓨팅에서 다중 AMI(Advanced Metering Infrastructure) 데이터 스트림 가속처리를 위한 하이브리드 딥 러닝 스케줄링 방법에 있어서,
    AMI 데이터에서 발생하는 편향된 데이터 분포도 변화를 감지하고, 이를 바탕으로 각 계산이 비교적 빠른 온라인 기울기를 에지 서버에서 계산하고,
    계산 요구량이 큰 정규화된 기울기는 클라우드 서버에서 하이브리드 스케줄러에 의해 선택적으로 계산하되,
    상기 하이브리드 스케줄러가 (1)데이터 스트림 분포도 프로파일링 단계, (2) 메모리 버퍼 업데이트 단계, 및 (3)하이브리드 스케줄링 단계의 총 세 가지 단계를 수행하는 것을 특징으로 하는 에지 컴퓨팅에서 다중 AMI 데이터 스트림 가속처리를 위한 하이브리드 딥 러닝 스케줄링 방법.
  2. 제 1항에 있어서, 상기 하이브리드 스케줄러는,
    상기 (1)데이터 스트림 분포도 프로파일링 단계에서,
    매 스트림 배열(
    Figure 112020041323571-pat00063
    ) 마다
    Figure 112020041323571-pat00064
    차원 전력 소비 AMI 데이터(
    Figure 112020041323571-pat00065
    )을 취합된 스트림 집합
    Figure 112020041323571-pat00066
    에서 코사인 유사도를 기준으로 도수 분포도를 인식하여 분포도 변화가 생기는지 확인하는 것을 특징으로 하는 에지 컴퓨팅에서 다중 AMI 데이터 스트림 가속처리를 위한 하이브리드 딥 러닝 스케줄링 방법.
  3. 제 1항에 있어서, 상기 하이브리드 스케줄러는,
    상기 (2)메모리 버퍼 업데이트 단계에서, 분포도 변화가 생겼다고 판단될 경우 새로운 데이터 분포도를 메모리 버퍼에 저장하는 것을 특징으로 하는 에지 컴퓨팅에서 다중 AMI 데이터 스트림 가속처리를 위한 하이브리드 딥 러닝 스케줄링 방법.
  4. 제 1항에 있어서, 상기 하이브리드 스케줄러는,
    상기 (3)하이브리드 스케줄링 단계에서, 새로운 데이터 분포도에 따른 편향된 데이터 분포도 변화 문제를 해결하기 위한 스케줄링 기법을 수행하는 것을 특징으로 하는 에지 컴퓨팅에서 다중 AMI 데이터 스트림 가속처리를 위한 하이브리드 딥 러닝 스케줄링 방법.
  5. 제 1항에 있어서, 상기 하이브리드 스케줄러는,
    새로운 데이터 스트림이 입력되면, 에지 서버에서 온라인 기울기(Gradient)를 계산하도록 명령하고, 아울러 상기 (1)데이터 스트림 분포도 프로파일링 단계에서, 전력 소비 데이터는 모두 양수인 것을 고려하여 전력 소비를 잘 표현할 수 있는 모든 축으로부터 같은 거리에 있는
    Figure 112020041323571-pat00067
    벡터 기준으로 데이터 스트림으로부터 코사인 유사도 지표를 아래의 수학식 1을 이용하여 계산하고, 또한
    도수 분포도를 의미하는 히스토그램 버퍼(
    Figure 112020041323571-pat00068
    )로 이루어진 집합
    Figure 112020041323571-pat00069
    을 아래의 수학식 2를 이용하여 생성하는 작업을 수행하는 것을 특징으로 하는 에지 컴퓨팅에서 다중 AMI 데이터 스트림 가속처리를 위한 하이브리드 딥 러닝 스케줄링 방법.
    (수학식 1)
    Figure 112020041323571-pat00070

    (수학식 2)
    Figure 112020041323571-pat00071

    여기서
    Figure 112020041323571-pat00072
    은 메모리 버퍼의 크기,
    Figure 112020041323571-pat00073
    ,
    Figure 112020041323571-pat00074
    , 그리고
    Figure 112020041323571-pat00075
    이다.
  6. 제 1항에 있어서, 상기 하이브리드 스케줄러는,
    상기 (2)메모리 버퍼 업데이트 단계에서,
    현재 스트림 셋에 의해 편향된 분포도를 줄이기 위해 이산 균등 분포(discrete uniform distribution)의 편포도(skewness)가 0인 점을 이용하여 코사인 유사도 기반 분포도가 균등하게 분산된 집합(
    Figure 112020041323571-pat00076
    )을 생성하는 것을 특징으로 하는 에지 컴퓨팅에서 다중 AMI 데이터 스트림 가속처리를 위한 하이브리드 딥 러닝 스케줄링 방법.
  7. 제 6항에 있어서,
    상기 코사인 유사도 기반 분포도가 균등하게 분산된 집합(
    Figure 112020041323571-pat00077
    )을 생성하기 위하여 선택되는 데이터들의 다양한 분포도를 유지하기 위하여,
    상기 하이브리드 스케줄러는,
    아래의 수학식 3에 의해 각 유사도 구간 내에서 임의로 선택되는 것을 특징으로 하는 에지 컴퓨팅에서 다중 AMI 데이터 스트림 가속처리를 위한 하이브리드 딥 러닝 스케줄링 방법.
    (수학식 3)
    Figure 112020041323571-pat00078

    여기서 각 히스토그램 버퍼(
    Figure 112020041323571-pat00079
    )에서 포함하고 있는 데이터 중에서 선택된 균등 분산 집합(
    Figure 112020041323571-pat00080
    ) 의
    Figure 112020041323571-pat00081
    번째 데이터를
    Figure 112020041323571-pat00082
    이라 한다.
  8. 제 6항에 있어서, 상기 하이브리드 스케줄러는,
    상기 코사인 유사도 기반 분포도가 균등하게 분산된 집합(
    Figure 112022111364521-pat00094
    )인 균등 분산 집합의 코사인 유사도 분산도와 실제 데이터를 저장하고 있는 이전 메모리 버퍼(
    Figure 112022111364521-pat00095
    )의 코사인 유사도 분산도를 비교하여,
    상기 이전 메모리 버퍼의 코사인 유사도 분산도보다 상기 균등 분산 집합의 코사인 유사도 분산도가 더 큰 경우 이전 메모리 버퍼(
    Figure 112022111364521-pat00096
    )의 데이터 셋을 아래의 수학식 4를 이용하여 균등 분산 집합으로 새롭게 업데이트하는 것을 더 포함하는 것을 특징으로 하는 에지 컴퓨팅에서 다중 AMI 데이터 스트림 가속처리를 위한 하이브리드 딥 러닝 스케줄링 방법.
    (수학식 4)
    Figure 112022111364521-pat00086

  9. 제 8항에 있어서,
    상기 메모리 버퍼가 업데이트 됐을 경우, 상기 하이브리드 스케줄러가 기억해야 할 분포도가 더 생겼다는 것을 의미하며, 이를 나타내는 버퍼 전환 표시기(
    Figure 112020041323571-pat00087
    )를 다음 수학식 5와 같이 설정하는 것을 특징으로 하는 에지 컴퓨팅에서 다중 AMI 데이터 스트림 가속처리를 위한 하이브리드 딥 러닝 스케줄링 방법.
    (수학식 5)
    Figure 112020041323571-pat00088

  10. 제 1항에 있어서, 상기 하이브리드 스케줄러는,
    상기 (3)하이브리드 스케줄링 단계에서,
    현재 데이터 스트림의 분포도를 고려했을 때 분포도가 더 커져서 버퍼 전환 표시기(
    Figure 112020041323571-pat00089
    )가 1을 가리킬 경우, 클라우드 서버에서 오프라인 기울기(Gradient)를 계산하고, 에지 서버에서 계산된 온라인 기울기와 오프라인 기울기를 이용하여 정규화가 반영된 기울기(Gradient)를 계산하고, 이 계산 결과를 이용하여 모델 파라미터를 업데이트 하고,
    상기 버퍼 전환 표시기(
    Figure 112020041323571-pat00090
    )가 1이 아닌 경우에는 곧바로 에지 서버에서 계산된 온라인 기울기를 사용하여 모델 파라미터 업데이트를 수행하는 것을 특징으로 하는 에지 컴퓨팅에서 다중 AMI 데이터 스트림 가속처리를 위한 하이브리드 딥 러닝 스케줄링 방법.
KR1020200048531A 2020-04-22 2020-04-22 에지 컴퓨팅에서 다중 ami 데이터 스트림 가속처리를 위한 하이브리드 딥 러닝 스케줄링 방법 KR102515188B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020200048531A KR102515188B1 (ko) 2020-04-22 2020-04-22 에지 컴퓨팅에서 다중 ami 데이터 스트림 가속처리를 위한 하이브리드 딥 러닝 스케줄링 방법
US17/231,738 US20210334653A1 (en) 2020-04-22 2021-04-15 Hybrid deep learning scheduling method for accelerated processing of multi-ami data stream in edge computing

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200048531A KR102515188B1 (ko) 2020-04-22 2020-04-22 에지 컴퓨팅에서 다중 ami 데이터 스트림 가속처리를 위한 하이브리드 딥 러닝 스케줄링 방법

Publications (2)

Publication Number Publication Date
KR20210130865A KR20210130865A (ko) 2021-11-02
KR102515188B1 true KR102515188B1 (ko) 2023-03-31

Family

ID=78222461

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200048531A KR102515188B1 (ko) 2020-04-22 2020-04-22 에지 컴퓨팅에서 다중 ami 데이터 스트림 가속처리를 위한 하이브리드 딥 러닝 스케줄링 방법

Country Status (2)

Country Link
US (1) US20210334653A1 (ko)
KR (1) KR102515188B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230122435A (ko) 2022-02-14 2023-08-22 한전케이디엔주식회사 Ami 장애진단시스템에서 효과적인 데이터 전처리 방법

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105122169A (zh) * 2013-03-15 2015-12-02 道明尼资源公司 利用基于ami的数据分析来计划能量需求和能量效率的电力系统控制
KR20160025540A (ko) * 2016-02-15 2016-03-08 주식회사 비즈모델라인 사용자 무선단말을 이용한 대면 서비스 인증 방법
KR102415214B1 (ko) * 2017-12-22 2022-06-30 서울대학교산학협력단 이상치를 고려한 뉴럴네트워크 가속 방법 및 장치

Also Published As

Publication number Publication date
US20210334653A1 (en) 2021-10-28
KR20210130865A (ko) 2021-11-02

Similar Documents

Publication Publication Date Title
CN109784490B (zh) 神经网络的训练方法、装置和电子设备
CN108733508B (zh) 用于控制数据备份的方法和系统
US20190095794A1 (en) Methods and apparatus for training a neural network
US20220210028A1 (en) Cloud software service resource allocation method based on qos model self-correctio
Lei et al. Robust K-means algorithm with automatically splitting and merging clusters and its applications for surveillance data
WO2022110640A1 (zh) 一种模型优化方法、装置、计算机设备及存储介质
KR102515188B1 (ko) 에지 컴퓨팅에서 다중 ami 데이터 스트림 가속처리를 위한 하이브리드 딥 러닝 스케줄링 방법
Cong et al. An efficient, distributed stochastic gradient descent algorithm for deep-learning applications
CN114692552A (zh) 一种三维芯片的布局方法、装置及终端设备
CN116822732A (zh) 基于自监督特征增强及堆叠类集成学习的价格预测方法、计算机装置及计算机可读存储介质
CN115879543B (zh) 一种模型训练方法、装置、设备、介质及系统
CN110995384B (zh) 一种基于机器学习的广播总控故障趋势预判方法
CN107124159B (zh) 一种基于自适应kld盒子长度的粒子滤波器的实现方法
CN109388609B (zh) 基于加速核的数据处理方法和装置
CN116541162A (zh) 算力控制方法、装置、存储介质及电子设备
CN112001495B (zh) 神经网络的优化方法、系统、设备及可读存储介质
Groeneboom Nonparametric estimation of the incubation time distribution
Han et al. Chaotic time series prediction using fuzzy sigmoid kernel-based support vector machines
CN110658722B (zh) 一种基于gap的自均衡多模型分解方法及系统
WO2021097494A2 (en) Distributed training of multi-modal machine learning models
KR20210144510A (ko) 뉴럴 네트워크를 이용하는 데이터 처리 방법 및 데이터 처리 장치
CN112784059A (zh) 知识图谱表示学习方法、装置、电子设备及存储介质
Chung et al. Evolutionary design of static output feedback controller for Takagi–Sugeno fuzzy systems
Daneshmand et al. Flexible selective parallel algorithms for big data optimization
CN113065644B (zh) 用于压缩神经网络模型的方法及装置、设备和介质

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right