KR102539223B1 - 엣지 컴퓨팅 환경에서 ami 데이터 스트림 가속처리를 위한 딥 러닝 방법 - Google Patents

엣지 컴퓨팅 환경에서 ami 데이터 스트림 가속처리를 위한 딥 러닝 방법 Download PDF

Info

Publication number
KR102539223B1
KR102539223B1 KR1020200049190A KR20200049190A KR102539223B1 KR 102539223 B1 KR102539223 B1 KR 102539223B1 KR 1020200049190 A KR1020200049190 A KR 1020200049190A KR 20200049190 A KR20200049190 A KR 20200049190A KR 102539223 B1 KR102539223 B1 KR 102539223B1
Authority
KR
South Korea
Prior art keywords
learning
data
model
deep learning
ami
Prior art date
Application number
KR1020200049190A
Other languages
English (en)
Other versions
KR20210131487A (ko
Inventor
윤찬현
김성환
이창하
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Priority to KR1020200049190A priority Critical patent/KR102539223B1/ko
Publication of KR20210131487A publication Critical patent/KR20210131487A/ko
Application granted granted Critical
Publication of KR102539223B1 publication Critical patent/KR102539223B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G06F9/5038—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the execution order of a plurality of tasks, e.g. taking priority or time dependency constraints into consideration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/06—Energy or water supply
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • Human Resources & Organizations (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Marketing (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Quality & Reliability (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Operations Research (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Game Theory and Decision Science (AREA)
  • Development Economics (AREA)
  • Primary Health Care (AREA)
  • Molecular Biology (AREA)
  • Water Supply & Treatment (AREA)
  • Public Health (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

본 발명은 엣지 컴퓨팅 환경에서 AMI 데이터 스트림 가속처리를 위한 딥 러닝 방법이 개시된다. 본 발명의 엣지 컴퓨팅 환경에서 AMI 데이터 스트림 가속처리를 위한 딥 러닝 방법은, 스케줄러가 AMI 데이터 스트림 입력에 대해 데이터 큐의 크기에 대해 데이터 반영 지연시간을 측정하는 단계; 스케줄러가 계산 노드 프로파일 정보를 기반으로 계산 성능 이득을 측정하는 단계; 스케줄러가 데이터 특성 변화 감지를 기반으로 모델 수렴율을 산출하는 단계; 스케줄러가 모델 수렴율과 큐 안정성을 포함하여 적응적 점진 학습 스케줄링을 수행하는 단계; 및 스케줄러가 적응적 점진 학습 스케줄링을 수행한 결과로 발생한 학습 매개변수를 통해 전력 예측 딥 러닝 모델을 재학습하는 단계;를 포함하는 것을 특징으로 한다.

Description

엣지 컴퓨팅 환경에서 AMI 데이터 스트림 가속처리를 위한 딥 러닝 방법{DEEP LEARNING METHOD FOR ACCELERATED PROCESSING OF AMI DATA STREAM IN EDGE COMPUTING SYSTEM}
본 발명은 엣지 컴퓨팅 환경에서 AMI 데이터 스트림 가속처리를 위한 딥 러닝 방법에 관한 것으로서, 보다 상세하게는 원격 검침 인프라(AMI)를 기반으로 수집된 검침데이터에 대해 딥 러닝 기법으로 수요를 예측할 때 AMI(Advanced Metering Infrastructure) 데이터의 시변 특성 변화를 정량화하여 적응적으로 학습 매개변수를 조절하는 학습 스케쥴링 기법을 포함하고, 학습 에러값과 딥 러닝 학습 시간 모델을 기반으로 학습 매개변수를 배치 크기와 에폭 수를 대상으로 스케줄링하여 예측 모델을 점진적으로 업데이트하는 엣지 컴퓨팅 환경에서 AMI 데이터 스트림 가속처리를 위한 딥 러닝 방법에 관한 것이다.
일반적으로, AMI(Advanced Metering Infrastructure ; 원격 검침 인프라) 계측 시스템은 계측기와 네트워크 인프라를 기반으로 실시간 전력 소비 데이터를 측정하여 전력 회사의 MDMS(Meter Data Management System)로 수집, 처리, 분석하여 정교한 수요 예측을 통해 에너지 발전 계획, 가격 모델 수립을 가능하게 한다.
종래의 머신러닝 기법보다 예측 정확도가 우수한 딥 러닝 기법을 AMI 스트림 데이터에 적용할 경우, AMI 스트림 데이터가 가지는 시변 특성으로 인해 변화하는 특성을 실시간으로 반영하기 위해서는 저장소에 수집된 막대한 양의 데이터를 지속해서 분석, 재학습하는 과정이 요구되며 이로 인해 대규모 컴퓨팅 자원과 많은 분석 시간이 요구된다.
또한, 단기 비정상(short-term non-stationary) 확률 과정을 따르는 AMI 데이터는 시변화적인 특성을 가지므로 학습과 추론 사이의 지연 시간에 비례하여 추론 오류가 점차 커지는 문제가 발생한다. 이러한 크기 비제약적 스트림 데이터의 시계열 입력에 대한 추론 정확도 감소와 재학습 비용의 상충 관계는 학습 스케줄링 문제를 어렵게 하였다.
따라서 이러한 문제를 해결하기 위해 AMI 데이터의 효과적인 분산 처리를 위한 엣지 컴퓨팅을 통한 지역적 분산 처리 시스템과 온라인 학습을 통한 실시간 스트림의 부분적 재학습을 통해 학습 가속을 수행하는 방법이 제안되었다.
그러나, 온라인 학습을 이용한 딥 러닝 기법을 MDMS와 같은 데이터 분석 플랫폼에서 실제 적용시킬 때 여러 가지 문제점이 우려된다.
먼저, 크기 비제약적인 스트림 데이터에 대해 부분적 학습 데이터 세트를 매 학습 주기 별로 새로이 갱신하는 온라인 러닝 기법은, 딥러닝 모델 재학습의 컴퓨팅 복잡도 문제를 해결하지만, 부분적 데이터 학습에 따라 데이터의 분포도가 비교적 크게 변하지 않는 상황에서만 효과적이고, 데이터 분포도가 크게 변하는 상황에서는 학습 불안정성과 일반화 오차가 증가하여 학습 수렴 속도가 감소하는 문제가 있다.
즉, 사용자의 데이터 분포도 변화 정도에 따라 학습 수렴 속도, 정확도 성능이 큰 영향을 받을 수 있다. 따라서 데이터의 시변 통계 특성 변화에 대해 정적인 학습 모델을 가지는 종래의 온라인 러닝 기법은 AMI 데이터 환경에 적합하지 않은 문제가 있다.
또한, 통계적 분석 기법, 머신러닝과 구분되는 딥 러닝 학습 프로세스에 최적화되지 않은 학습 시간 모델로 인하여 학습 가속 지표의 실제 운영 환경에서의 오차가 발생하는 문제가 있다.
마지막으로, 데이터 큐(queue) 문제를 고려하지 않아 자원 특히, 제약적인 엣지 컴퓨팅 환경에서는 오버플로우로 인한 시스템 실패가 발생할 수 있다. 예를 들어, 대표적인 온라인 러닝 프레임워크 중의 하나인 Continuum은 실시간 데이터의 온라인 학습을 지원하는데, 이들은 학습 모델에 반영되는 재학습 주기를 최소화 하는 것에 초점을 맞추고 있다.
이러한 온라인 러닝 모델은 데이터 입력과 컴퓨팅 시간 모델만을 기준으로 하므로 적합한 재학습 주기 선정을 통한 데이터에 대한 모델 최신성 유지에는 적합하지만, 데이터 분포도 변화 정도에 대한 정적인 학습 모델은 AMI 시변 통계 특성에 적응적이지 못하여 과적합(overfitting)이거나 불안정성으로 인해 노이즈에 취약할 수 있으며, 반대로 지역 최적점(local minima)에서 벗어나지 못할 수 있다. 엣지 컴퓨팅 환경에서는 큐 제약을 고려하지 않은 과도한 학습을 수행하기도 한다. 따라서 데이터 시변 특성 변화 정도에 적응적인 엣지 환경에서의 딥 러닝 학습 플랫폼 기술이 필요한 실정이다.
본 발명의 배경기술은 대한민국 공개특허 10-2018-0082606호(2018.07.18. 공개, 예측 모델에 기반하여 데이터 취득 파라미터들을 변경하기 위한 컴퓨터 구조 및 방법)에 개시되어 있다.
본 발명은 상기와 같은 필요성에 따라 안출된 것으로, 일 측면에 따른 본 발명의 목적은 원격 검침 인프라(AMI)를 기반으로 수집된 검침데이터에 대해 딥 러닝 기법으로 수요를 예측할 때 AMI(Advanced Metering Infrastructure) 데이터의 시변 특성 변화를 정량화하여 적응적으로 학습 매개변수를 조절하는 학습 스케쥴링 기법을 포함하고, 학습 에러값과 딥 러닝 학습 시간 모델을 기반으로 학습 매개변수를 배치 크기와 에폭 수를 대상으로 스케줄링하여 예측 모델을 점진적으로 업데이트하는 엣지 컴퓨팅 환경에서 AMI 데이터 스트림 가속처리를 위한 딥 러닝 방법을 제공하는 것이다.
본 발명의 일 측면에 따른 엣지 컴퓨팅 환경에서 AMI 데이터 스트림 가속처리를 위한 딥 러닝 방법은, 적응적 점진 학습 시스템이 AMI 데이터 스트림 입력에 대해 데이터 큐의 크기에 대해 데이터 반영 지연시간을 측정하는 단계; 적응적 점진 학습 시스템이 계산 노드 프로파일 정보를 기반으로 계산 성능 이득을 측정하는 단계; 적응적 점진 학습 시스템이 데이터 특성 변화 감지를 기반으로 모델 수렴율을 산출하는 단계; 적응적 점진 학습 시스템이 모델 수렴율과 큐 안정성을 포함하여 적응적 점진 학습 스케줄링을 수행하는 단계; 및 적응적 점진 학습 시스템이 적응적 점진 학습 스케줄링을 수행한 결과로 발생한 학습 매개변수를 통해 전력 예측 딥 러닝 모델을 재학습하는 단계;를 포함하는 것을 특징으로 한다.
본 발명에서 데이터 큐는, 적응적 점진 학습 시스템이 AMI 데이터 스트림이 수집될 때 과거 측정 값과 현재 측정 값을 쌍으로 하는 전력 예측 딥 러닝 모델의 학습 데이터 세트를 큐(queue) 모델로 관리하는 것을 특징으로 한다.
본 발명에서 계산 노드 프로파일 정보는, 적응적 점진 학습 시스템이 선형 회귀를 통해 주어진 전력 예측 딥 러닝 모델의 학습 과정의 배치 데이터에 대한 계산 노드 성능에 따른 딥 러닝 학습 시간을 포함하는 것을 특징으로 한다.
본 발명에서 전력 예측 딥 러닝 모델의 재학습과정은, 모델 초기화, 미니 배치 업로드, 전방 전달, 역전파, 그래디언트 전송 및 종료의 단계를 포함하는 것을 특징으로 한다.
본 발명에서 데이터 특성 변화는, 적응적 점진 학습 시스템이 학습된 전력 예측 딥 러닝 모델 대비 학습 데이터의 거리를 학습 손실 함수값으로 설정한 후 시계열적으로 학습 손실 함수값을 윈도우 방식으로 추적하여 변화의 정도를 탐지하는 것을 특징으로 한다.
본 발명에서 학습 매개변수는 배치 크기와 에폭 반복 수를 포함하는 것을 특징으로 한다.
본 발명의 일 측면에 따른 엣지 컴퓨팅 환경에서 AMI 데이터 스트림 가속처리를 위한 딥 러닝 방법은 원격 검침 인프라(AMI)를 기반으로 수집된 검침데이터에 대해 딥 러닝 기법으로 수요를 예측할 때 AMI(Advanced Metering Infrastructure) 데이터의 시변 특성 변화를 정량화하여 적응적으로 학습 매개변수를 조절하는 학습 스케쥴링 기법을 포함하고, 학습 에러값과 딥 러닝 학습 시간 모델을 기반으로 학습 매개변수를 배치 크기와 에폭 수를 대상으로 스케줄링하여 예측 모델을 점진적으로 업데이트함으로써, 노이즈에 강건하고 변화에 빠르게 수렴함으로 예측 모델의 평균 추론 정확도가 개선되고, 딥 러닝의 연산을 기반으로 학습 시간을 계산하여 계산 노드의 성능 특성에 근거하여 학습을 가속할 수 있으며, 엣지 컴퓨팅 환경에서 데이터 큐 안정성 제약을 적용한 스케줄링을 통해 메모리 제약 시 데이터 오버플로우 문제를 감지하고 해결할 수 있다.
도 1은 본 발명의 일 실시예에 따른 엣지 컴퓨팅 환경에서 AMI 데이터 스트림 가속처리를 위한 딥 러닝 방법을 설명하기 위한 적응적 점진 학습 시스템의 전체 동작 예시도이다.
도 2는 본 발명의 일 실시예에 따른 엣지 컴퓨팅 환경에서 AMI 데이터 스트림 가속처리를 위한 딥 러닝 방법을 설명하기 위한 적응적 점진 학습 스케줄러의 동작을 나타낸 예시도이다.
도 3은 본 발명의 일 실시예에 따른 엣지 컴퓨팅 환경에서 AMI 데이터 스트림 가속처리를 위한 딥 러닝 방법을 설명하기 위한 흐름도이다.
이하, 첨부된 도면들을 참조하여 본 발명에 따른 엣지 컴퓨팅 환경에서 AMI 데이터 스트림 가속처리를 위한 딥 러닝 방법을 설명한다. 이 과정에서 도면에 도시된 선들의 두께나 구성요소의 크기 등은 설명의 명료성과 편의상 과장되게 도시되어 있을 수 있다. 또한, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례에 따라 달라질 수 있다. 그러므로 이러한 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1은 본 발명의 일 실시예에 따른 엣지 컴퓨팅 환경에서 AMI 데이터 스트림 가속처리를 위한 딥 러닝 방법을 설명하기 위한 적응적 점진 학습 시스템의 전체 동작 예시도이다.
도 1에 도시된 바와 같이 엣지 컴퓨팅 환경에서 AMI 데이터 스트림 가속처리를 위한 딥 러닝 방법을 설명하기 위한 적응적 점진 학습 시스템(20)의 전체적인 동작은 스마트 검침장치(10)로부터 입력되는 구성 데이터 셋의 크기인 배치 크기와 대상 데이터를 반복 학습하는 에폭 반복수를 결정하는 스케줄러로 동작하며, 이는 유틸리티 함수의 최적화를 통해 결정되어 모델 재학습의 학습 매개변수로 적용된다.
즉, 대규모 시계열 AMI 스트림이 수집될 때, 센서 데이터 스트림 핸들러(30)에 의해 과거 측정 값과 현재 측정 값을 쌍으로 하는 전력 예측 딥 러닝 모델의 학습 데이터 세트를 큐(queue) 모델로 관리한다.
그리고, 스케줄러는 학습 에러값과 딥 러닝 학습 시간 모델을 기반으로 다음 주기의 학습 매개변수를 배치(batch) 크기와 에폭(epoch) 수를 대상으로 스케줄링 하여 학습 모델을 데이터 분포 변화에 적응적인 예측 모델로 업데이트하여 재학습한다.
따라서 본 실시예에서는 딥 러닝 학습 시간 모델과 데이터 학습 반영 지연시간 모델 및 데이터의 시변 특성 변화량 지표를 도출하고, 데이터 시변 특성 변화에 적응적인 점진 학습 스케줄링을 통해 엣지 컴퓨팅 환경에서의 데이터 큐 안정성 제약 조건을 반영하여 스케줄링하게 된다.
도 2는 본 발명의 일 실시예에 따른 엣지 컴퓨팅 환경에서 AMI 데이터 스트림 가속처리를 위한 딥 러닝 방법을 설명하기 위한 적응적 점진 학습 스케줄러의 동작을 나타낸 예시도이다.
도 2에 도시된 바와 같이 엣지 컴퓨팅 환경에서 AMI 데이터 스트림 가속처리를 위한 딥 러닝 방법을 설명하기 위한 스케줄러(100)는 시계열 AMI 스트림이 수집될 때, 과거 측정 값과 현재 측정 값을 쌍으로 하는 전력 예측 딥 러닝 모델의 학습 데이터 세트의 큐(queue) Q(t)의 안정성(Stability)과 데이터 학습 반영 지연시간(Model Recency) R, 계산 노드 성능 특성에 근거한 성능 이득(Performance Gain) PG, 데이터 시변화 통계 특성 지표인 MCR(Model Convergence Ratio)에 근거하여 학습 매개변수인 배치(Batch) 크기와 학습을 반복하는 에폭(Epoch) 수를 결정한다.
이후 학습이 완료 된 딥 러닝 모델은 즉시 추론에 반영되는 시스템 환경에서 제어 지표를 모델링하였으므로, 실시간 배포 및 추론을 수행할 수 있다.
따라서 스케줄러(100)는 엣지 클라우드 환경에서 데이터 스트림을 제어하고, 계산 노드를 프로파일링하여 데이터 통계 특성 변화 감지하며, 적응적 점진 학습을 스케줄링 할 수 있다.
도 3은 본 발명의 일 실시예에 따른 엣지 컴퓨팅 환경에서 AMI 데이터 스트림 가속처리를 위한 딥 러닝 방법을 설명하기 위한 흐름도이다.
도 3에 도시된 바와 같이 엣지 컴퓨팅 환경에서 AMI 데이터 스트림 가속처리를 위한 딥 러닝 방법은, 에지 서버의 스케줄러(100)가 새로운 AMI 데이터 스트림을 입력받는다(S10).
S10 단계에서 입력되는 AMI 데이터 스트립의 입력에 대해 스케줄러(100)가 데이터 큐의 크기에 대해 데이터 반영 지연시간을 측정한다(S20).
여기서, 스케줄러(100)는 매 시간 t에서의 AMI 스트림 입력 값 vt에 대해 i번 재학습 수행한 전력 예측 딥 러닝 모델 Mi 를 학습하기 위한 데이터 셋을 구성하기 위해 입력 시점으로부터 룩백(lookback) lb 만큼의 과거 데이터를
Figure 112020041809918-pat00001
로,
Figure 112020041809918-pat00002
로 하는 k번째 데이터 인스턴스 dk를 구성하고, 이때의 시간 t를 ak로 두어, 수학식 1과 같이 이전 학습 시간 ti -1 이후 유지되는 데이터 큐를 구성한다.
예측 딥러닝 모델 Mi에서 Mi + 1으로 업데이트 하기 위한 데이터셋 Di 는 수학식 2로 구성된다. 이때
Figure 112020041809918-pat00003
로 해당 업데이트에서의 배치 크기로 표현된다.
Figure 112020041809918-pat00004
Figure 112020041809918-pat00005
여기서, 해당 입력 데이터가 학습에 반영되기까지 걸리는 지연시간은 모델이 최신의 데이터에 대해 학습이 되었는지를 나타내는 지표로 최신 데이터를 빠르게 수용할수록 시계열 데이터에 대한 최신성을 가지므로 높은 정확도를 보인다.
학습과 추론이 동시에 진행되는 상황에서 데이터 반영 지연은 큐 대기시간과 해당 데이터의 학습시간의 합 Ri 은 수학식 3과 같이 계산되고, 균등 분포를 가진 입력에 대해서는 수학식 4와 같이 계산된다.
Figure 112020041809918-pat00006
Figure 112020041809918-pat00007
이와 같이 데이터 큐는 스케줄러(100)가 AMI 데이터 스트림이 수집될 때 과거 측정 값과 현재 측정 값을 쌍으로 하는 전력 예측 딥 러닝 모델의 학습 데이터 세트를 큐(queue) 모델로 관리한다.
S20 단계에서 데이터 큐의 크기에 대해 데이터 반영 지연시간을 측정한 후 스케줄러(100)는 계산 노드 프로파일 정보를 기반으로 계산 성능 이득을 측정한다(S30).
여기서, 계산 노드 프로파일 정보는 모델 초기화, 미니 배치 업로드, 전방 전달, 역전파, 그래디언트 전송 및 종료의 단계를 포함하는 전력 예측 딥 러닝 모델의 학습 과정을 선형 회귀를 통해 주어진 배치 데이터 Di 에 대한 계산 노드 성능에 따른 딥 러닝 학습 시간을 포함할 수 있다.
따라서, 스케줄러(100)는 계산 노드 프로파일 정보를 계산한 후 계산 집약 명령인 전방 전달 FWc, 역전파 BWc와 데이터 집약 명령인 미니 배치 업로드 UPm, 그래디언트 전송 TRm 에 대해 배치 크기 bi와 에폭 수 ei 로 수학식 5와 수학식 6과 같이 선형 회기를 계산한다.
Figure 112020041809918-pat00008
Figure 112020041809918-pat00009
여기서,
Figure 112020041809918-pat00010
은 연산 반복에 따른 부하 증분의 매개변수이고,
Figure 112020041809918-pat00011
는 모델 구동에 따른 오버헤드 상수이다.
또한, 계산 성능 이득(Performance Gain) PG 은 동일한 스트림 데이터 크기에 대해 모델 재학습 주기의 최대, 최소 간의 시간차로 수학식 7과 같이 계산된다.
Figure 112020041809918-pat00012
S30 단계에서 계산 노드 프로파일 정보를 기반으로 계산 성능 이득을 측정한 후 스케줄러(100)는 데이터 특성 변화 감지를 기반으로 모델 수렴율을 산출한다(S40).
여기서, 모델 수렴율(Model Convergence Ration)은 시변화 통계 특성을 나타내는 지표이다.
데이터 특성 변화는 학습된 모델 대비 학습 데이터의 거리를 학습 손실 함수값으로 두어 시계열으로 학습 손실 함수값을 윈도우 방식으로 추적하여 변화의 정도를 탐지하여 감지한다.
즉, 지수 가중 이동 평균(Exponential Weighted Moving Average)을 통해 추적한 평균 학습 손실 지표를 수학식 8과 수학식 9를 통해 계산한다.
Figure 112020041809918-pat00013
Figure 112020041809918-pat00014
이후 탐지 된 데이터 특성 변화 정도에 따라 적응적으로 학습량을 조절하는 모델 수렴율(MCR)은 수학식 10과 같이 변화량이 큰 경우에 큰 배치 크기와 에폭 반복 수를 통해 노이즈에 강건한 반복학습을 수행하고, 변화량이 작은 경우에 작은 배치 크기와 에폭 반복 수을 통해 지역 최적점 문제를 해결하고 계산 효율을 높이도록 고안된 지표이다.
Figure 112020041809918-pat00015
S40 단계에서 모델 수렴율을 산출한 후 스케줄러(100)는 모델 수렴율과 큐 안정성을 포함하여 적응적 점진 학습 스케줄링을 수행한다(S50).
여기서, 스케줄러(100)는 수학식 11과 같이 적응적 점진 학습적용 될 유틸리티 함수를 만족하는 해를 수학식 12와 같이 찾고, 또한 수학식 13과 같이 엣지 컴퓨팅 환경에서의 데이터 큐 안정성을 고려한 제약 조건을 처리한다.
이때 γ는 가중계수로써, 유틸리티 함수에서 데이터 반영 지연시간(R), 계산 성능 이득(PG) 및 모델 수렴율(MCR)의 균형을 맞추는데 사용되는 가중치 매개변수이다.
Figure 112020041809918-pat00016
Figure 112020041809918-pat00017
Figure 112020041809918-pat00018
즉, bi에 대해 f가 볼록 함수의 형태를 따르므로 극점을 찾는 과정을 통해 일 변수 함수 변환 수행을 통해 해 탐색을 가속화하여 수학식 14와 같이 해를 찾는다.
Figure 112020041809918-pat00019
여기서, d(ei)는 1/λ,
Figure 112020041809918-pat00020
, 0,
Figure 112020041809918-pat00021
를 계수로 가지는 삼차 다항방정식의 유효한 실수 해이다.
S50 단계에서 적응적 점진 학습 스케줄링을 수행한 결과로 발생한 학습 매개변수를 통해 스케줄러(100)는 전력 예측 딥 러닝 모델을 재학습한다(S60).
이와 같이 구해진 학습 매개변수인 배치 크기 bi와 에폭 반복 수 ei는 전력 예측 딥러닝 모델 Mi을 업데이트하기 위한 스케줄링 매개변수로 딥러닝 학습기를 통해 모델을 Mi+1의 모델로 지속 업데이트 한다.
상술한 바와 같이, 본 발명의 실시예에 의한 엣지 컴퓨팅 환경에서 AMI 데이터 스트림 가속처리를 위한 딥 러닝 방법에 따르면, 원격 검침 인프라(AMI)를 기반으로 수집된 검침데이터에 대해 딥 러닝 기법으로 수요를 예측할 때 AMI(Advanced Metering Infrastructure) 데이터의 시변 특성 변화를 정량화하여 적응적으로 학습 매개변수를 조절하는 학습 스케쥴링 기법을 포함하고, 학습 에러값과 딥 러닝 학습 시간 모델을 기반으로 학습 매개변수를 배치 크기와 에폭 수를 대상으로 스케줄링하여 예측 모델을 점진적으로 업데이트함으로써, 노이즈에 강건하고 변화에 빠르게 수렴함으로 예측 모델의 평균 추론 정확도가 개선되고, 딥 러닝의 연산을 기반으로 학습 시간을 계산하여 계산 노드의 성능 특성에 근거하여 학습을 가속할 수 있으며, 엣지 컴퓨팅 환경에서 데이터 큐 안정성 제약을 적용한 스케줄링을 통해 메모리 제약 시 데이터 오버플로우 문제를 감지하고 해결할 수 있다.
본 명세서에서 설명된 구현은, 예컨대, 방법 또는 프로세스, 장치, 소프트웨어 프로그램, 데이터 스트림 또는 신호로 구현될 수 있다. 단일 형태의 구현의 맥락에서만 논의(예컨대, 방법으로서만 논의)되었더라도, 논의된 특징의 구현은 또한 다른 형태(예컨대, 장치 또는 프로그램)로도 구현될 수 있다. 장치는 적절한 하드웨어, 소프트웨어 및 펌웨어 등으로 구현될 수 있다. 방법은, 예컨대, 컴퓨터, 마이크로프로세서, 집적 회로 또는 프로그래밍 가능한 로직 디바이스 등을 포함하는 프로세싱 디바이스를 일반적으로 지칭하는 프로세서 등과 같은 장치에서 구현될 수 있다. 프로세서는 또한 최종-사용자 사이에 정보의 통신을 용이하게 하는 컴퓨터, 셀 폰, 휴대용/개인용 정보 단말기(personal digital assistant: "PDA") 및 다른 디바이스 등과 같은 통신 디바이스를 포함한다.
본 발명은 도면에 도시된 실시예를 참고로 하여 설명되었으나, 이는 예시적인 것에 불과하며, 당해 기술이 속하는 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다.
따라서 본 발명의 진정한 기술적 보호범위는 아래의 청구범위에 의해서 정하여져야 할 것이다.
10 : 스마트 검침장치
20 : 적응적 점진 학습 시스템
30 : 센서 데이터 스트림 핸들러
100 : 스케줄러

Claims (6)

  1. 적응적 점진 학습 시스템이 AMI 데이터 스트림 입력에 대해 데이터 큐의 크기에 대해 데이터 반영 지연시간을 측정하는 단계;
    상기 적응적 점진 학습 시스템이 계산 노드 프로파일 정보를 기반으로 계산 성능 이득을 측정하는 단계;
    상기 적응적 점진 학습 시스템이 데이터 특성 변화 감지를 기반으로 모델 수렴율을 산출하는 단계;
    상기 적응적 점진 학습 시스템이 상기 데이터 반영 지연시간, 상기 계산 성능 이득 및 상기 모델 수렴율을 포함하여 적응적 점진 학습 스케줄링을 수행하는 단계; 및
    상기 적응적 점진 학습 시스템이 상기 적응적 점진 학습 스케줄링을 수행한 결과로 발생한 학습 매개변수를 통해 전력 예측 딥 러닝 모델을 재학습하는 단계;를 포함하되,
    상기 계산 성능 이득을 측정하는 단계는, 상기 적응적 점진 학습 시스템이 선형 회귀를 통해 주어진 상기 전력 예측 딥 러닝 모델의 학습 과정의 배치 데이터에 대한 계산 노드 성능에 따른 딥 러닝 학습 시간을 포함하는 상기 계산 노드 프로파일 정보를 기반으로 동일한 스트림 데이터 크기에 대해 모델 재학습 주기의 최대, 최소 간의 시간차로 상기 계산 성능 이득(PG)을 아래식 1과 같이 계산하고,
    상기 모델 수렴율을 산출하는 단계는, 상기 적응적 점진 학습 시스템이 학습된 상기 전력 예측 딥 러닝 모델 대비 학습 데이터의 거리를 학습 손실 함수값으로 설정한 후 시계열적으로 학습 손실 함수값을 윈도우 방식으로 추적하여 변화의 정도를 탐지하는 상기 데이터 특성 변화를 기반으로 상기 데이터 특성 변화 정도에 따라 적응적으로 학습량을 조절하는 시변화 통계 특성을 나타내는 지표로 상기 모델 수렴율(MCR)을 아래식 2와 같이 계산하며,
    상기 적응적 점진 학습 스케줄링을 수행하는 단계는, 상기 적응적 점진 학습 시스템이 상기 데이터 반영 지연시간(R), 상기 계산 성능 이득(PG) 및 상기 모델 수렴율(MCR)을 기반으로 아래식 3과 같은 유틸리티 함수를 만족하는 해를 탐색하는 것을 특징으로 하는 엣지 컴퓨팅 환경에서 AMI 데이터 스트림 가속처리를 위한 딥 러닝 방법.
    (아래식 1)
    Figure 112023011413683-pat00025

    여기서, bi는 배치 크기,
    Figure 112023011413683-pat00026
    는 모델 구동에 따른 오버헤드 상수이다.
    (아래식 2)
    Figure 112023011413683-pat00027

    여기서, bi는 배치 크기, ei는 에폭 수, atli는 평균 학습 손실 지표이다.
    (아래식 3)
    Figure 112023011413683-pat00028

    여기서, γ는 가중계수이다.
  2. 제 1항에 있어서, 상기 데이터 큐는, 상기 적응적 점진 학습 시스템이 상기 AMI 데이터 스트림이 수집될 때 과거 측정 값과 현재 측정 값을 쌍으로 하는 전력 예측 딥 러닝 모델의 학습 데이터 세트를 큐(queue) 모델로 관리하는 것을 특징으로 하는 엣지 컴퓨팅 환경에서 AMI 데이터 스트림 가속처리를 위한 딥 러닝 방법.
  3. 삭제
  4. 제 1항에 있어서, 상기 전력 예측 딥 러닝 모델의 재학습과정은, 모델 초기화, 미니 배치 업로드, 전방 전달, 역전파, 그래디언트 전송 및 종료의 단계를 포함하는 것을 특징으로 하는 엣지 컴퓨팅 환경에서 AMI 데이터 스트림 가속처리를 위한 딥 러닝 방법.
  5. 삭제
  6. 제 1항에 있어서, 상기 학습 매개변수는 배치 크기와 에폭 반복 수를 포함하는 것을 특징으로 하는 엣지 컴퓨팅 환경에서 AMI 데이터 스트림 가속처리를 위한 딥 러닝 방법.
KR1020200049190A 2020-04-23 2020-04-23 엣지 컴퓨팅 환경에서 ami 데이터 스트림 가속처리를 위한 딥 러닝 방법 KR102539223B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200049190A KR102539223B1 (ko) 2020-04-23 2020-04-23 엣지 컴퓨팅 환경에서 ami 데이터 스트림 가속처리를 위한 딥 러닝 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200049190A KR102539223B1 (ko) 2020-04-23 2020-04-23 엣지 컴퓨팅 환경에서 ami 데이터 스트림 가속처리를 위한 딥 러닝 방법

Publications (2)

Publication Number Publication Date
KR20210131487A KR20210131487A (ko) 2021-11-03
KR102539223B1 true KR102539223B1 (ko) 2023-06-07

Family

ID=78505211

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200049190A KR102539223B1 (ko) 2020-04-23 2020-04-23 엣지 컴퓨팅 환경에서 ami 데이터 스트림 가속처리를 위한 딥 러닝 방법

Country Status (1)

Country Link
KR (1) KR102539223B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114465898A (zh) * 2022-01-21 2022-05-10 厦门市执象智能科技有限公司 基于边缘计算的深度学习分流计算模型的流量预警方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
S. Bae, "An accelerated streaming data processing scheme based on cnnlstm hybrid model in energy service platform," M.S. thesis, Dept. Elect. Eng., KAIST, Daejeon, South Korea, 2019. (2019.12.31.)*

Also Published As

Publication number Publication date
KR20210131487A (ko) 2021-11-03

Similar Documents

Publication Publication Date Title
CN110070117B (zh) 一种数据处理方法及装置
CN103164742B (zh) 一种基于粒子群优化神经网络的服务器性能预测方法
CN110832509B (zh) 使用神经网络的黑盒优化
CN109902801A (zh) 一种基于变分推理贝叶斯神经网络的洪水集合预报方法
EP3938854A1 (en) Method of performing a process and optimizing control signals used in the process
CN114330935B (zh) 基于多种结合策略集成学习的新能源功率预测方法和系统
KR20200119923A (ko) 신재생 에너지 전력 공급량 및 전력 사용량의 실시간 예측을 위한 온라인 딥러닝 장치
CN117175588B (zh) 基于时空相关性的用电负荷预测方法及装置
CN111783356A (zh) 一种基于人工智能的石油产量预测方法和装置
JP6086875B2 (ja) 発電量予測装置および発電量予測方法
KR102539223B1 (ko) 엣지 컴퓨팅 환경에서 ami 데이터 스트림 가속처리를 위한 딥 러닝 방법
CN115344927A (zh) 基于工程历史数据的高拱坝施工仿真参数动态更新方法
Anh et al. Effect of gradient descent optimizers and dropout technique on deep learning LSTM performance in rainfall-runoff modeling
Basterrech et al. Evolutionary Echo State Network: A neuroevolutionary framework for time series prediction
CN117332896A (zh) 多层集成学习的新能源小时间尺度功率预测方法及系统
CN117332897A (zh) 人工智能驱动的新能源小时间尺度功率插值集成预测方法
CN116385059A (zh) 行为数据预测模型的更新方法、装置、设备及存储介质
Tian et al. A variable sampling period scheduling method for networked control system under resource constraints
Wijesuriya et al. Bayes-adaptive planning for data-efficient verification of uncertain Markov decision processes
CN113723712B (zh) 风电功率预测方法、系统、设备及介质
Karanam et al. Improving Transfer Time Prediction of ML Models via Auto-correcting Dynamical Systems Modeling
CN112787882A (zh) 一种物联网边缘流量预测方法、装置及设备
CN117874712B (zh) 基于高斯过程回归的单模非气密光模块性能预测方法
Huang et al. Accurate Prediction of Required Virtual Resources via Deep Reinforcement Learning
CN115630772B (zh) 综合能源检测配电方法、系统、设备及存储介质

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant