KR102566824B1 - 장단기 메모리 네트워크 모델을 학습시키는 방법 및 학습된 장단기 메모리 네트워크 모델을 이용하여 에너지 비용을 최소화하는 방법 - Google Patents

Abstract

본 발명의 일 실시예에 따른 거시적/미시적 시간 스케일 기반 관리 방법은, 긴 주기 동안 재생 가능 전력 용량에 대한 예측을 하고, 높은 정확도를 얻기 위해 구성된 장단기 메모리 네트워크(Long Short Term Memory Network) 모델을 이용하는 것을 특징으로 한다.

Description

장단기 메모리 네트워크 모델을 학습시키는 방법 및 학습된 장단기 메모리 네트워크 모델을 이용하여 에너지 비용을 최소화하는 방법 {A METHOD FOR TRAINING LONG SHORT TERM MEMORY NETWORK AND A METHOD FOR MINIMIZING ENERGY COSTS USING TRAINED LONG SHORT TERM MEMORY NETWORK}

본 발명은 장단기 메모리 네트워크 모델을 학습시키는 방법 및 학습된 장단기 메모리 네트워크 모델을 이용하여 에너지 비용을 최소화하는 방법에 관한 것이다.

심층 신경망 모델(Deep Neural Network Model)은 입력층(input layer)과 출력층(output layer) 사이에 다중의 은닉층(multiple hidden layer)을 포함하는 인공 신경망(ANN: Artificial Neural Network) 모델을 말한다. 심층 신경망은 대규모의 데이터 집합과 손실 함수(loss function)을 이용하여 각 층을 이루는 가중치(weight)를 업데이트 시켜 다양한 비선형적 관계를 학습할 수 있다. 그러나 너무 과하게 학습했을 경우 실제 데이터(actual data)에 대해 오차가 증가하는 과적합(overfitting), 기울기 값의 소실 문제(vanishing gradient problem) 등의 문제가 발생한다. 심층 신경망 모델 기술이 발전하면서 해당 모델의 성능을 향상시키는 드롭아웃(drop-out), ReLU(Rectified Linear Unit), 배치 정규화(batch normalization) 등의 기법이 개발 되었다. 심층 신경망은 알고리즘에 따라 라벨(label)과 같이 출력의 정답이 주어진 지도 학습 방법(supervised learning)과 주어지지 않은 비지도 학습 방법(unsupervised learning)으로 나뉘며 전자에는 심층 신뢰 신경망(DBN: Deep Belief Network), 심층 오토인코더(deep autoencoder) 등이 있고, 후자에는 보통 이미지와 같은 2차원 데이터 처리를 위한 합성곱 신경망(Convolutional Neural Network), 시계열 데이터 처리를 위한 순환 신경망(Recurrent Neural Network) 등이 있다.

장단기 메모리 네트워크(Long-Short term Memory Network)란 기본적으로 순환 신경망과 같이 시계열 데이터(time-series data)와 같이 시간의 흐름에 따라 변화하는 데이터를 학습하기 위한 딥 러닝 모델로 순환 신경망에서 발생하는 기울기 값의 소실 문제를 해결한 모델이다. 기울기 값이 소실되는 문제(vanishing gradient problem)는 매 시점에 심층 신경망이 연결되어 있을 경우 오래 전의 데이터에 의한 기울기 값이 소실되어 학습이 어려워지는 문제를 말한다. 장단기 메모리 네트워크는 각각 훈련 시간 단계(step) t의 입력 데이터 블록 ut, 히든 스테이트 블록(hidden state block) ht, 셀 스테이트 블록(cell state block) ct과 출력 응답 블록 yt으로 구성된다. ht로부터의 출력은 비선형 쌍곡선 탄젠트 함수(nonlinear hyperbolic tangent function)로부터 도출된다.

장단기 메모리 네트워크의 역 전파(backpropagation)는 예측 출력 시퀀스(predicted output sequence)의 실제 시퀀스(actual sequence)에 대한 에러를 기반으로 각 블록의 가중치를 업데이트한다.

Q. Liu, Y. Ma, M. Alhussein, Y. Zhang, and L. Peng, "Green data center with iot sensing and cloud-assisted smart temperature control system," Computer Networks, vol. 101, pp. 104-112, 2016. Y. Peng, D.-K. Kang, F. Al-Hazemi, and C.-H. Youn, "Energy and qos aware resource allocation for heterogeneous sustainable cloud datacenters," Optical Switching and Networking, vol. 23, pp. 225-240, 2017 Z. Liu, M. Lin, A. Wierman, S. Low, and L. L. Andrew, "Greening geographical load balancing," IEEE/ACM Transactions on Networking, vol. 23, no. 2, pp. 657-671, 2015. D. Cheng, Y. Guo, C. Jiang, and X. Zhou, "Self-tuning batching with dvfs for performance improvement and energy efficiency in internet servers," ACM Transactions on Autonomous and Adaptive Systems (TAAS), vol. 10, no. 1, p. 6, 2015. Q. Fang, J. Wang, Q. Gong, and M. Song, "Thermal-aware energy management of an hpc data center via two-time-scale control," IEEE Transactions on Industrial Informatics, vol. 13, no. 5, pp. 2260-2269, 2017. I. Goodfellow, Y. Bengio, A. Courville, and Y. Bengio, Deep learning. MIT press Cambridge, 2016, vol. 1. M. Chen, X. Shi, Y. Zhang, D. Wu, and M. Guizani, "Deep features learning for medical image analysis with convolutional autoencoder neural network," IEEE Transactions on Big Data, no. 1, pp. 1-1. S. Ioffe and C. Szegedy, "Batch normalization: Accelerating deep network training by reducing internal covariate shift," in International Conference on Machine Learning, 2015, pp. 448-456. S. Wan, Y. Liang, Y. Zhang, and M. Guizani, "Deep multi-layer perceptron classifier for behavior analysis to estimate parkinson's disease severity using smartphones," IEEE Access, vol. 6, pp. 36 825-36 833, 2018. W. Zhu, C. Lan, J. Xing, W. Zeng, Y. Li, L. Shen, X. Xie et al., "Cooccurrence feature learning for skeleton based action recognition using regularized deep lstm networks." in AAAI, vol. 2, no. 5, 2016, p. 6.

최근에는 에너지 비용과 탄소 배출을 효과적으로 줄이기 위해 재생 가능 발전기 기반의 분산형 지속 가능 데이터 센터가 구축되고 있다. 재생 가능 전력 생산의 이용은 비용 대비 높은 에너지 효율을 달성할 수 있으나, 내제된 간헐성(intermittency)과 불확실성(uncertainty)으로 인해 신중하게 다루어 져야한다. 태양광 전력 용량은 태양 복사에 의존하며, 풍력은 지역 풍속에 의존한다. 같은 지역에서도 역동적 기상 조건의 변화로 인해 전력 용량의 변동이 발생한다. 전력 예측을 위해, 기존 기술들은 외생 입력을 갖는 비선형 자기 회귀 모델(nonlinear auto-regressive models with exogenous inputs), 가중 평균 이동 평균 (estimated weighted moving average), 칼만 필터(Kalman filter)와 같은 다양한 방법을 제안해왔다. 그러나, 이러한 기법들은 긴 주기 동안의 불규칙한 재생 가능 전력 곡선에 대해 여전히 예측 정확도가 낮은 문제가 있어 비용 대비 높은 에너지 효율을 달성하지 못한다.

지속 가능 데이터 센터에서의 서비스 품질 보장 또한 중요하게 고려되어야 할 이슈이다. 에너지 효율적인 데이터 센터를 위해 주로 사용되는 데이터 센터 관리 방법에는 크게 두가지 동적 규모 조정(Dynamic Right Sizing) 및 주파수 스케일링(CPU frequency scaling)이 존재한다. 동적 규모 조정에서 파워 업된 서버의 수는 들어오는 작업 부하의 양에 비례하여 조정된다. 동적 규모 조정은 유휴 서버(idle server)의 정적 전력 소모(static power consumption)를 제거하고 에너지 절약과 높은 리소스 활용을 가져온다. 주파수 스케일링은 실행중인 서버의 전원 공급 장치를 간접적으로 조정한다. 주파수 스케일링은 시변 작업 부하(time-varying workloads) 및 전력 용량을 기반으로 각 서버의 CPU 주파수를 적응적으로 제어 할 수 있어 효율적인 동적 전력 소모(dynamic power consumption)를 달성 할 수 있다.

그러나 이러한 동적 규모 조정 및 주파수 스케일링에 대해 조직화된 관리(coordinated management)를 실현하기에는 몇몇 문제점이 존재한다. 첫째, 주파수 스케일링 오버 헤드는 무시할 만하지만 동적 규모 조정 작동에 의한 서버 웨이크-업 오버 헤드(wake-up overhead)는 심각하다. 빈번한 동적 규모 조정 작동은 무시할 수 없는 긴 서버 중단 시간(long server downtime), 추가 에너지 소모(additional energy consumption) 및 냉각 지연(cooling delay)을 야기한다. 두번째로, 동적 규모 조정 및 주파수 스케일링에 대한 통합된 최적화 문제는 비 볼록 (non-convex)이기 때문에 기존에 동시에 결정 변수(decision variable)로서 고려되지 않았다. 동적 규모 조정 및 주파수 스케일링를 개별적으로 관리한다면 서버의 정적 및 동적 전력 소모 관점에서 더 나은 에너지 효율적인 데이터 센터를 달성하지 못한다.

이를 해결하기 위해, 본 발명의 일 실시예는 동적 규모 조정(dynamic right sizing) 및 주파수 스케일링(CPU frequency scaling)에 대한 최적의 거시적/미시적 시간 스케일(MACRO/MICRO time scale) 데이터 센터 관리를 통해 비용 대비 높은 에너지 효율과 동적 규모 조정의 낮은 웨이크-업 오버헤드(wake-up overhead)를 실현하는 방법을 제공한다.

다만, 본 발명이 해결하고자 하는 과제는 이상에서 언급한 바로 제한되지 않으며, 언급되지는 않았으나 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있는 목적을 포함할 수 있다.

본 발명의 일 실시예에 따른 방법은, 먼저 긴 주기 동안 재생 가능 전력 용량에 대한 예측을 하고 높은 정확도를 얻기 위해 장단기 메모리 네트워크(Long Short Term Memory Network)를 적용하여 그에 알맞은 입력 / 출력 데이터 시퀀스 유형(the input/output data sequence types)을 정의한다.

두번째로, 본 발명의 일 실시예에 따른 방법은 실용적인 에너지 효율적인 지속 가능 분산 데이터 센터를 위한 거시적/미시적 시간 스케일 기반 관리 방법을 제안한다. 미시적 시간 스케일에서, 동적 규모 조정 작동과 주파수 스케일링의 결정 변수는 장기간에 걸쳐 동시에 최적화 된다. 거시적 시간 스케일에서는 고정된 동적 규모 조정 결정이 주어지면 주파수 스케일링 결정은 단기간의 작업 부하 변동에 따라 다시 최적화 된다. 이 접근법은 빈번한 동적 규모 조정 작동으로 인한 의한 서버 웨이크-업 오버 헤드를 효율적으로 줄이는 동시에 높은 에너지 효율을 적응적으로 달성한다.

세번째로, 본 발명의 일 실시예에 따른 방법은 비 볼록 동적 규모 조정 / 주파수 스케일링 결정 최적화 문제를 해결하기 위해 새로운 딥 러닝 기반의 통합 최적화 도구(joint optimizer)를 제안한다. 제안하는 딥 러닝 기반의 통합 최적화 도구는 심층 신경망 네트워크 (Deep Neural Network) 모델이 한번 훈련되면 신속한 결과 도출을 보장한다. 라벨 기반의 지도 학습 모델(supervised Deep Learning) 보다는 비지도 학습 모델(unsupervised Deep Learning)을 채택하여 에너지 비용 최소화 문제를 해결하기 위해 실제 입력 데이터와 합성 데이터를 모두 사용할 수 있도록 한다. 제안하는 딥 러닝 기반 최적화 도구는 에너지 비용 최소화 문제에 대해 비 블랙 박스 모델 훈련(non-black box model training)이 가능하므로 실제 데이터(actual raw data)가 없는 경우에도 최적의 솔루션을 찾을 수 있다.

본 발명의 실시예에 의하면, 재생 가능 에너지 기반 지역 분산적인 데이터 센터에서 발생하는 에너지 비용을 거시적/미시적 시간 스케일의 최적 동적 규모 조정과 주파수 스케일링을 통해 허용 불가능한 웨이크-업 오버헤드 없이 정교하게 최소화 할 수 있다.

본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

도 1은 본 발명에서 고려하는 재생 가능한 분산 데이터 센터의 구조를 나타내는 도면이다.
도 2는 본 발명에서 고려하는 태양광 및 풍력 발전 기반 에너지 효율적인 지속 가능한 데이터 센터를 위한 동적 규모 조정과 주파수 스케일링 구조를 나타내는 도면이다.
도 3은 본 발명에서 거시 및 미시적 스케일의 제어 주기를 나타내는 도면이다.
도 4은 본 발명에서 미시적 시간 스케일 최적화 문제를 나타내는 도면이다.
도 5는 본 발명에서 제안하는 장단기 메모리 네트워크 기반 재생 가능 전력 용량 예측기와 비지도 딥 러닝 기반 거시적 시간 스케일 문제 해결기의 구조를 나타내는 도면이다.
도 6은 본 발명의 거시적 시간 스케일 데이터 센터 에너지 비용 최적화 과정을 나타내는 도면이다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명의 범주는 청구항에 의해 정의될 뿐이다.

본 발명의 실시예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명은 본 발명의 실시예들을 설명함에 있어 실제로 필요한 경우 외에는 생략될 것이다. 그리고 후술되는 용어들은 본 발명의 실시예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.

이하 사용되는 '…부', '…기' 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어, 또는, 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.

도 1은 본 발명에서 고려하는 재생 가능한 분산 데이터 센터의 구조를 나타내는 도면이다. 우리는 I개의 풍력 발전 지역(wind farm) 과 태양광 패널(solar panel) 기반 재생 가능한 데이터 센터와 J 개의 다중 에지 서버를 고려한다. 각 에지 서버는 인구가 많은 여러 분산 에지 존에서 사용자 요청을 모아 데이터 센터로 전송하기 위해 분산되어 있다. 모든 데이터 센터와 엣지 서버는 서로 완전히 연결되어 있다. 는 정수의 집합으로 의 기수성(cardinality)를 갖는다. 와 는 각각 고려된 연속 시간 길이와 전체 이산 시간 슬롯의 관련 수를 의미한다. 한 이산 시간 슬롯의 샘플링 주기는 다음과 같다.

그러면, 이산 시간 슬롯 인덱스 는 각기 연속 시간 간격 에 매핑된다.

도 2는 본 발명에서 고려하는 태양광 및 풍력 발전 기반 에너지 효율적인 지속 가능한 데이터 센터를 위한 동적 규모 조정과 주파수 스케일링 구조를 나타내는 도면이다. 재생 가능한 지역 분산 데이터 센터는 송전망 전력 및 재생 가능 에너지(renewable energy) 전력 발전기로부터 전력을 공급 받는다. 는 각각 날씨 변수로서 시간 슬롯 에 번째 데이터센터에서의 일사량(solar radiance), 외기 온도(outside air temperature), 풍속을 의미한다. 는 각각 각각 시간 슬롯 에 번째 데이터센터에서의 날씨 상황에 따른 재생 가능한 태양광과 풍력 전력 용량(power capacity)을 의미한다.. 는 각각 시간 슬롯 에 번째 데이터센터에서의 파워 업(powered-up)된 서버의 수와 CPU 주파수(frequency) 값을 의미한다. 는 각각 시간 슬롯 에 번째 엣지 서버에 입력 된 사용자 요청 수와 번째 엣지 서버에서 번째 데이터센터로 전달한 요청 수를 의미 한다. 전체 에지 서버로부터 발생한 번째 데이터센터의 사용자 요청의 합계는 다음과 같이 나타낸다.

사용 가능한 태양광 전력 용량 는 다음과 같이 정의한다.

는 각각 패널 면적의 크기 ()와 태양 전지 판 변환 효율 (%)을 의미한다. 는 각각 일사량()과 외기 온도()를 의미하고 동적인 날씨 상황에 따라 변화한다.

근사 풍력 전력 용량는 다음과 같이 정의한다.

는 각각 전력(), 컷 인 풍속(), 정격 풍속(), 컷 오프 풍속()에 관련된다. 특히 는 팬 블레이드가 처음으로 회전하고 전력을 생성하기 시작할 때의 풍속을 나타낸다. 는 손상의 위험으로부터의 터빈을 보호할 수 있는 허용 가능한 풍속의 상한을 의미한다.

시간 슬롯 에 번째 데이터센터에서의 단일 서버에 대한 평균 CPU 사용률은 다음과 같이 정의한다.

본 발명은 데이터 센터로 전달된 사용자 요청이 파워 업된 모든 서버 서버에 고르게 분배된다고 가정한다.

시간 슬롯 에 번째 데이터센터에서의 총 전력은 다음과 같이 정의한다.

의 조정을 통해서는 오직 동적인 전력 소모에 영향을 줄 수 있기 때문에 정적 전력 소비 는 동적 규모 조정(dynamic right sizing)를 통해 유휴 서버의 전원을 꺼 줄일 수 있다.

본 발명에선 사용자 요청 유형 중 트랜잭션 작업 부하(transactional workload)만 고려한다. 트랜잭션 작업 부하의 성능은 서비스 응답 대기 시간(service response latency)으로 분석할 수 있다. 각 데이터센터에 대한 평균 서비스 응답 대기 시간을 모델링하기 위해 M/M/m 큐잉 모델(queueing model)을 사용한다. 번째 데이터센터에 대한 평균 서비스 응답 대기 시간은 다음과 같이 정의한다. 첫번째 항과 두번째 항은 각각 평균 대기 시간과 평균 서비스를 나타낸다.

시간 슬롯 에 번째 데이터센터에서의 에너지 비용 모델(energy cost model)은 다음과 같이 정의한다.

, where

태양광 패널 및 풍력 발전 지역에 대한 추가 운영 비용은 없다고 가정한다.

본 발명의 목적은 에너지 효율적인 재생 가능한 데이터 센터를 위해 다음 벡터 변수에 대한 최적의 결정을 내리는 것이다: 파워 업된 서버의 개수 , CPU 주파수 값 , 각 시간 슬롯()에 대해 주어진 예측되는 재생 가능 전력 용량(predicted renewable power capacity) 과 사용자 요청 을 고려한 요청 전달 지도(request dispatching map) . 해당 벡터 변수들은 다음과 같이 정의된다.

재생 가능한 분산 데이터 센터의 에너지 비용 최소화 위한 문제는 다음과 같이 공식화한다.

는 각각 번째 에지 서버로부터 번째 데이터센터로 전달되는 사용자 요청의 데이터 단위당 전송 시간과 링크 전력 소모(link power consumption)을 의미한다. 수학식 10의 첫번째 제약 조건(constraints)은 모든 데이터센터에 대한 평균 서비스 응답 지연은 미리 정의된 서비스 응답 지연 한도 를 초과할 수 없음을 나타낸다. 두번째 제약 조건은 전달되는 사용자 요청의 수가 목적 데이터 센터의 가용한 컴퓨팅 용량을 초과 할 수 없음을 나타낸다. 이 제약 조건을 위반되면 관련된 서비스 응답 지연이 무한히 증가 할 수 있다. 세번째 제약 조건은 파워 - 업 된 서버는 해당 데이터 센터의 총 서버 수 내에서 조정되어야 함을 의미한다. 네번째 제약 조건은 가능한 주파수 스케일링 범위를 나타낸다. 다섯 번째 제약 조건은 특정 엣지 서버에 도착한 사용자 요청은 모두 분산 데이터센터에 전달되어야 함을 나타낸다.

해당 문제 수학식 10은 두 가지의 주된 문제점이 존재한다. 먼저 의 변화가 너무 많으면 동적 규모 조정 작동(actuation)의 웨이크-업 오버헤드가 악화된다. 즉, 데이터 센터의 에너지 비용은 가능한 한 최소의 동적 규모 조정 트리거링(triggering)과 함께 최적화되어야 함을 나타낸다. 두번째로, 수학식 10의 첫번째 제약 조건에서 과 의 곱은 해당 문제 수학식 10을 비 볼록 최적화(non convex optimization) 문제로 만들어 풀기 어렵게 한다.

이와 같은 동적 규모 조정 작용의 웨이크-업 오버헤드 문제를 해결하기 위해, 본 발명에선 거시 및 미시적 스케일(MACRO/MICRO scale) 기반 데이터센터 에너지 비용 최적화 도구(optimizer)를 제안한다. 제안하는 최적화 도구는 해당 오버헤드에 민감하게 작용하는 변수 과 민감하게 작용하지 않는 변수 , 에 시간 스케일을 다르게 적용한다.

도 3은 본 발명에서 거시 및 미시적 스케일의 제어 주기를 나타내는 도면이다.

는 거시적 시간 스케일(MACRO time scale) 의 슬롯 수를 나타낸다 (). 는 거시적 시간 스케일의 샘플링 간격을 나타낸다. (여기서 는 양의 정수). 그러므로 거시적 시간 슬롯 인덱스 는 각각 로 맵핑된다. 거시적 시간 스케일의 의사결정(decision making)을 위해 대신 다음과 같이 정의한다.

결국, 거시적 시간 스케일의 데이터 센터 에너지 비용 최소화 문제는 다음과 같이 공식화된다.

의 크기가 커질수록 의 차원도 감소한다. 즉, 를 조정하여 동적 규모 조정 작용의 웨이크-업 오버헤드를 적절하게 조정할 수 있다. 또한 결정 변수(decision variable)의 차원을 줄여 계산의 복잡성을 감소시키고 균등 제약(equality constraints)에 대한 추가적인 연산(computation) 부담을 피한다

비록 거시적 시간 스케일 기반 의사 결정은 동적 규모 조정 작용의 웨이크-업 오버헤드를 효율적으로 감소시키나 긴 샘플링 주기 로 인해 즉각적인 재생 가능 전력 용량(renewable power capacity)의 변동에 대해 즉각적인 대응이 어렵다.

미시적 시간 스케일 기반 의사 결정(MICRO time scale based decision making)의 목적은 수학식 12의 문제의 한계점을 보완하기 위해 요청 전달(dispatching)/주파수 스케일링을 정교하게 재 계산하는 것이다.

해당 문제에서 재생 가능 전력 용량의 중요한 변동 (적지 않은 예측 오차)이 시간 슬롯 에 나타남을 가정한다. 는 시간 슬롯 에서 새롭게 예측되는 태양광 및 풍력 전력 용량을 나타낸다. 이 경우엔 제안하는 최적화 도구가 업데이트 된 재생 가능 전력 용량에 대한 예측에 따라 부분적으로 결정 변수 , 를 재 계산한다. 이를 위한 미시적 시간 스케일의 데이터 센터 에너지 비용 최소화 문제는 다음과 같이 공식화된다.

파워 업 서버의 수는 거시적 시간 스케일 문제에 대한 최적 결정 변수로부터 도출 된 상수 로 결정된다. 미시적 시간 스케일 최적화 문제 수학식 13은 현재 시간 슬롯 인덱스 부터 다음 거시적 시간 슬롯 까지의 부분적인 시간 슬롯에 대해서 재 계산된다. 모든 거시적 시간 슬롯에서, 미시적 시간 스케일 최적화는 재생 가능 전력 용량의 예측 오차에 따라서 반복적으로 수행된다.

도 4은 본 발명에서 미시적 시간 스케일 최적화 문제를 나타내는 도면이다.

미시적 시간 스케일 최적화 문제 수학식 13은 이 결정 변수가 아니기 때문에 표준 볼록 최적화 기법(standard convex optimizer)로 해결할 수 있지만, 거시적 시간 스케일 최적화 문제 수학식 12는 첫번째 제약 조건이 과 의 곱을 포함하고 있어 비 볼록 최적화이다. 본 발명에선 이와 같은 비 볼록 거시적 시간 스케일 에너지 비용 최소화 문제(non-convex MACRO time scale energy cost minimization problem)를 효율적으로 해결 할 수 있는 비지도 딥러닝(unsupervised deep learning) 기반 문제 해결기(solver)를 제안하다.

도 5는 본 발명에서 제안하는 장단기 메모리 네트워크(Long Short Term Memory Network) 기반 재생 가능 전력 용량 예측기와 비지도 딥 러닝 기반 거시적 시간 스케일 문제 해결기의 구조를 나타내는 도면이다.

비 볼록 거시적 시간 스케일 최적화 문제를 해결 하기 위해 비지도 딥러닝 기반 문제 해결기를 제안한다. 해당 딥러닝 모델의 추론(inferencing)을 가능하게 하기 위해, 장단기 메모리 네트워크를 이용해 예측된 재생 가능 전력 용량을 포함한 훈련 입력 데이터(training input data)를 생성한다.

날씨 상황은 시간에 따라 주기적인 패턴을 갖으므로 날짜 변수 와 시간 변수 를 정의한다. 입력 데이터 시퀀스는 길이 L로 다음과 같이 정의된다.

예측 출력 시퀀스 또한 길이 L로 다음과 같이 정의된다.

실제 시퀀스는 다음과 같이 정의된다.

역 전파는 훈련 시간 슬롯 에 대한 추정 오차에 기초하여 수행되고 전체 네트워크 가중치는 업데이트 된다. 충분한 정확도 수준에 이르렀을 때 장단기 메모리 네트워크의 훈련은 끝난다.

장단기 메모리 네트워크 모델에 대한 추론은 각 데이터 센터에서 수행된다. 시간 슬롯 에 모든 데이터센터로부터 길이 의 예측 재생 가능 전력 용량 시퀀스 (predicted renewable power capacity sequence)가 제안하는 최적화 도구에게 전달된다. 만약 무시할 수 없는 예측 에러가 번째 데이터 센터의 특정 슬롯 에서 발견되면, 장단기 메모리 네트워크 모델은 재 훈련되며, 업데이트된 출력 결과가 해당 최적화 도구에게 전달된다. 제안하는 최적화 도구는 우선적으로 재생 가능 전력 용량에 대한 업데이트 된 예측 데이터를 기반으로 표준 볼록 최적화 기법을 이용해 미시적 시간 스케일 최적화 문제 수학식 13을 해결한다.

비지도 딥러닝 문제 해결기의 목적은 남은 비 볼록 거시적 시간 스케일 에너지 비용 최소화 문제에 대한 (근사) 최적 결정 변수를 찾는 것이다. 해당 딥러닝 모델의 훈련을 위해 커스터 마이즈된 손실 함수는 다음과 같이 정의한다.

는 각각 네트워크 가중치, 비지도 딥러닝 모델 손실 함수, 비지디 딥러닝 모델 손실 함수의 평균 값을 의미한다. 와 은 각각 미니배치(minibatch) 크기와 딥 러닝 모델을 의미한다. 은 각각 입력 데이터와 에 대한 예측 출력 데이터를 의미한다. 는 각각 딥러닝 모델 훈련 시간 슬롯 인덱스(DNN training time slot index)와 훈련 레이트(learning rate)를 의미한다. 는 최적화 문제의 제약 조건 위반에 대한 패널티 항으로 패널티 가중치 값(penalty weight value)의 집합은 다음과 같다.

제안하는 손실 함수의 추론 입력 데이터 와 출력 데이터 는 다음과 같이 정의할 수 있다.

딥러닝 모델 훈련을 위해 제안하는 최적화 도구는 사용자 요청과 재생 가능 전력 용량에 대한 과거 데이터(historical data)를 수집한다. 훈련 데이터 집합이 충분하지 않을 경우 가능한 범위 내에서 소정의 분포(predetermined distribution)에 따라 무작위로 데이터를 생성해 사용할 수 있다. 배치 정규와 (batch normalization) 기술이 적용되었고 활성 함수로 ReLU(rectified-linear unit)를 사용한다.

도 6은 본 발명의 거시적 시간 스케일 데이터 센터 에너지 비용 최적화 과정을 나타내는 도면이다. 손실 함수 수학식 17을 기반으로 훈련된 네트워크 가중치 의 딥러닝 모델 은 거시적 시간 스케일 문제의 해결기로 사용된다. 제안하는 최적화 도구는 각 데이터 센터 의 장단기 메모리 네트워크 모델로부터 예측 재생 가능 전력 용량 을 모은다. 또, 각 엣지 서버의 예측 사용자 요청량 을 모은다(사용자 요청량에 대한 예측은 재생 가능 전력 용량을 예측하는 방법과 동일하다.) 의 합성을 통해 생성한 데이터 벡터 를 딥러닝 모델 에 입력하고 결정 변수 를 도출한다.

본 발명의 미시적 시간 스케일 데이터 센터 에너지 비용 최적화 과정은 다음과 같다. 해당 과정이 트리거링되는 때는 재생 가능 전력 용량에 대한 상당한 에러 오차가 발견된 시점이다. 미시적 시간 스케일 비용 함수 는 에러 발견 시점 , 거시적 시간 스케일 최적화의 결과 과 새롭게 예측된 태양광/풍력 전력 용량 를 기초하여 설계된다. 에 대한 부분적인 최적 해 와 는 표준 볼록 최적화 기법을 통해 재 계산된다.

본 발명에 첨부된 블록도의 각 블록과 흐름도의 각 단계의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수도 있다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 블록도의 각 블록 또는 흐름도의 각 단계에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 기록매체에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 기록매체에 저장된 인스트럭션들은 블록도의 각 블록 또는 흐름도 각 단계에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 블록도의 각 블록 및 흐름도의 각 단계에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.

또한, 각 블록 또는 각 단계는 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실시예들에서는 블록들 또는 단계들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들 또는 단계들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들 또는 단계들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (4)

1. 복수의 데이터 센터들과 복수의 엣지 서버들을 포함하는 재생 가능한 분산 데이터 센터에서 수행되는 에너지 비용을 최소화하는 방법에 있어서,
   상기 복수의 데이터 센터들 각각으로부터 예상 재생 가능 전력 용량을 수집하는 단계;
   상기 복수의 엣지 서버들 각각으로부터 예상 사용자 요청량을 수집하는 단계; 및
   상기 예상 재생 가능 전력 용량과 상기 예상 사용자 요청량을 기 학습된 장단기 메모리 네트워크(Long Short Term Memory Network) 모델에 입력하여, 에너지 비용을 최소화하기 위한 변수로서, 상기 복수의 데이터 센터들 내에서 파워-업된 서버의 개수, 상기 파워-업된 데이터 센터의 CPU 주파수 값 및 상기 복수의 엣지 서버들로부터 상기 복수의 데이터 센터에 전달된 요청의 개수를 결정하는 단계; 및
   상기 파워-업된 서버의 개수, 상기 CPU 주파수 값 및 상기 요청의 개수에 기초하여, 상기 에너지 비용을 최소화하는 단계를 포함하는
   에너지 비용을 최소화하는 방법.
2. 제1 항에 있어서,
   상기 예상 재생 가능 전력 용량은 예상 태양광 전력 용량 및 예상 풍력 전력 용량을 포함하는
   에너지 비용을 최소화하는 방법.
3. 제1 항에 있어서,
   상기 파워-업된 서버의 개수와, 상기 CPU 주파수 값 및 상기 요청의 개수에는 시간 스케일이 다르게 적용되는
   에너지 비용을 최소화하는 방법.
4. 제1 항에 있어서,
   상기 장단기 메모리 네트워크 모델은,
   상기 예상 재생 가능 전력 용량과 상기 예상 사용자 요청량이 입력되면, 에너지 비용을 최소화하기 위한 변수로서, 상기 복수의 데이터 센터들 내에서 파워-업된 서버의 개수, 상기 파워-업된 데이터 센터의 CPU 주파수 값 및 상기 복수의 엣지 서버들로부터 상기 복수의 데이터 센터에 전달된 요청의 개수를 출력하도록 기 학습된 인공신경망인
   에너지 비용을 최소화하는 방법.