KR102080094B1 - Apparatus for estimating power demand using attention matrix - Google Patents
Apparatus for estimating power demand using attention matrix Download PDFInfo
- Publication number
- KR102080094B1 KR102080094B1 KR1020190033223A KR20190033223A KR102080094B1 KR 102080094 B1 KR102080094 B1 KR 102080094B1 KR 1020190033223 A KR1020190033223 A KR 1020190033223A KR 20190033223 A KR20190033223 A KR 20190033223A KR 102080094 B1 KR102080094 B1 KR 102080094B1
- Authority
- KR
- South Korea
- Prior art keywords
- data
- power consumption
- weight
- attention
- encoding
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
- G06Q50/06—Electricity, gas or water supply
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q20/00—Payment architectures, schemes or protocols
- G06Q20/08—Payment architectures
- G06Q20/14—Payment architectures specially adapted for billing systems
Abstract
본 발명은 인코딩 어텐션 가중치 및 디코딩 어텐션 가중치를 이용한 전기차 전력 수요 예측 방법 및 장치에 관한 것이다. 이를 위하여 인코더가 상기 소비전력 데이터와 상기 보조 데이터를 기초로 기학습된 임베디드 층과 어텐션 층을 이용하여 상기 보조 데이터를 상기 임베디드 소비전력 데이터에 적용하고, 상기 보조 데이터와 소비전력에 대한 인코딩 데이터를 생성하는 인코딩 단계와 이와 비슷한 방법으로 상기 인코딩된 보조 데이터와 과거의 예측 데이터를 임베딩 층에 입력하여 임베디드된 디코더의 입력 보조 데이터와 상기 인코딩된 소비전력 데이터에 디코더의 어텐션 가중치를 적용하는 디코더 단계;가 제공될 수 있다. 이에 따르면 전기차 충전 수요 예측, 전기차 전력 수요 예측이 시계열적인 측면뿐만 아니라, 지역적인 측면까지도 정밀하게 가능해지는 효과가 발생된다.The present invention relates to an electric vehicle power demand prediction method and apparatus using encoding attention weights and decoding attention weights. To this end, an encoder applies the auxiliary data to the embedded power consumption data using an embedded layer and an attention layer that have been previously learned based on the power consumption data and the auxiliary data, and encodes the auxiliary data and the power consumption data. A decoder step of inputting the encoded auxiliary data and past prediction data into an embedding layer in a manner similar to the encoding step of generating the same, and applying an attention weight of the decoder to the input auxiliary data of the embedded decoder and the encoded power consumption data; May be provided. According to this, electric vehicle charging demand prediction and electric vehicle electric power demand prediction can be precisely made not only in the time series but also in the regional aspect.
Description
본 발명은 인코딩 어텐션 가중치 및 디코딩 어텐션 가중치를 이용한 전기차 전력 수요 예측 방법 및 장치에 관한 것이다. The present invention relates to an electric vehicle power demand prediction method and apparatus using the encoding attention weight and the decoding attention weight.
최근 Tesla, Inc.를 주축으로 세계 자동차 시장의 패러다임이 내연기관 자동차에서 전기자동차로 이동되고 있다. 이는 자동차 배출가스에 대한 국제적인 환경 규제 강화, 석유 자원의 고갈 가능성 증대, 고유가의 지속 등이 원인이 되고 있다. 소비자들은 유가 상승에 대한 부담으로 고효율 자동차에 대한 선호를 증대하고 있다. 최근 우리나라에서 연비가 높은 경차와 하이브리드 자동차(HEV), 수입 경유(클린디젤) 자동차의 판매가 두드러지게 증가하고 있다. 전 세계적으로도 하이브리드 승용차 시장은 급격한 성장세를 나타내고 있다. 선진국들은 순수 전기자동차(EV) 및 플러그인 하이브리드 자동차(PHEV)의 보급을 강력히 추진하고 있다. Recently, the paradigm of the global automobile market is shifting from internal combustion engine cars to electric vehicles, led by Tesla, Inc. This is attributable to tightening international environmental regulations on automobile emissions, increasing the possibility of depletion of oil resources, and continuing high oil prices. Consumers are increasing their preference for high-efficiency cars due to the burden of rising oil prices. Recently, sales of high-efficiency light vehicles, hybrid vehicles (HEV), and imported diesel (clean diesel) vehicles have increased significantly. Globally, the hybrid passenger car market is growing rapidly. Developed countries are pushing for the deployment of pure electric vehicles (EVs) and plug-in hybrid vehicles (PHEVs).
전기자동차는 효과적인 글로벌 온실가스 감축 수단이자, 지속가능한 환경을 위한 필수적인 대안으로 부상되고 있다. 미국, EU, 일본, 중국 등은 전기자동차를 선택의 문제가 아니라 국제 경제 환경과 자동차 산업의 판도를 뒤흔들 수 있는 핵심 기술로 인식하고 있다. 주요 국가들은 전기자동차 구매보조금을 지원해주고, 세제 혜택을 주는 등의 인센티브뿐만 아니라 주차, 충전 편의성 부여, 차량 운행 관련 혜택 등 각종 지원책을 시행하고 있다. Electric vehicles are emerging as an effective global greenhouse gas reduction tool and an essential alternative for a sustainable environment. The United States, the EU, Japan, and China see electric vehicles not as a matter of choice, but as key technologies that can shake the world's economic environment and the auto industry. Major countries are implementing subsidies such as subsidies such as electric vehicle purchase subsidies and tax incentives, as well as benefits related to parking, charging convenience, and vehicle operation.
전기차가 빠르게 확산되기 위해서는 전력 계통의 관리가 필요하고, 이를 위해서는 충전 수요의 예측이 필요한 실정이다. 하지만, 기존의 선행문헌들은 이를 단순히 통계적으로 접근하여 해결하고 있는 실정이었고, 시계열적인 측면과 위치적인 측면(지역적인 측면)을 모두 고려하지 않아 전기차 충전 수요 예측이 정확하지 않은 문제가 있었다. In order for electric vehicles to rapidly spread, management of a power system is necessary, and for this purpose, a demand for charging demand is required. However, the existing prior art documents solve this problem simply by statistical approach, and there is a problem in that electric vehicle charging demand prediction is not accurate because it does not consider both time-series and location (regional) aspects.
따라서 본 발명은 상기 제시된 문제점을 개선하기 위하여 창안되었다.Accordingly, the present invention has been devised to remedy the problems presented above.
본 발명의 목적은, 3차원 매트릭스로 구성한 현재의 소비 전력 데이터와 날씨 데이터, 교통 데이터 등의 보조 데이터를 임베딩하고, 시계열적으로 공유되는 어텐션 모듈과 Self consistent 모듈을 통해 인코딩한 뒤, 시계열적으로 발생되는 인코딩 데이터를 시계열적으로 공유되는 어텐션 모듈과 Self consistent 모듈을 통해 디코딩하여 가까운 미래의 전기차 전력 수요 예측을 하는, 어텐션 매트릭스(attention matrix)를 이용한 전기차 전력 수요 예측 방법 및 장치를 제공하는데에 있다.An object of the present invention is to embed the current power consumption data composed of a three-dimensional matrix, auxiliary data such as weather data, traffic data, and the like, encoded through an attention module and a self consistent module that are shared in time series, and then The present invention provides a method and apparatus for predicting electric vehicle power demand using an attention matrix that decodes the generated encoded data through an attention shared module and a self consistent module to predict electric vehicle power demand in the near future. .
이하 본 발명의 목적을 달성하기 위한 구체적 수단에 대하여 설명한다.Hereinafter, specific means for achieving the object of the present invention will be described.
본 발명의 목적은, 임베딩 모듈이 위치 차원을 포함한 매트릭스 형태의 소비전력 데이터 및 상기 소비전력 데이터와 종류가 다른 적어도 하나 이상의 보조 데이터를 임베딩하여 상기 소비전력 데이터 및 상기 보조 데이터에서 특징을 추출하고 스케일을 표준화하여 임베디드 소비전력 데이터와 임베디드 보조 데이터를 생성하는 이종 데이터 임베딩 단계; 인코더가 상기 임베디드 소비전력 데이터와 상기 임베디드 보조 데이터를 통해 상기 소비전력 데이터로부터 집중해야 할 데이터의 반영 정도를 계산하기 위한 가중치인 어텐션 가중치를 학습하고, 상기 임베디드 보조 데이터 및 상기 임베디드 소비전력 데이터를 기초로 기학습된 상기 임베디드 소비전력 데이터에 대한 어텐션 가중치인 소비전력 데이터 인코딩 어텐션 가중치를 상기 임베디드 소비전력 데이터에 적용하여 인코딩 데이터를 생성하는 인코딩 단계; 디코더가 상기 인코딩 데이터 및 과거의 예측된 인코딩 데이터를 수신하고, 상기 인코딩 데이터의 가중치와 상기 과거의 예측된 인코딩 데이터를 기초로 다시 입력받은 뒤, 상기 과거 데이터 디코딩 어텐션 가중치 및 상기 과거의 인코딩 데이터의 가중치를 기초로 기학습된 상기 인코딩 데이터에 대한 어텐션 가중치인 현재 데이터 디코딩 어텐션 가중치를 상기 인코딩 데이터에 적용하여 디코딩 데이터를 생성하는 디코딩 단계; 및 소비전력 예측 모듈이 상기 디코딩 데이터를 수신하고, 상기 디코딩 데이터를 통해 t+1의 소비전력 데이터를 예측하는 소비전력 예측 단계;를 포함하고, 각각의 어텐션 가중치들은 시계열적으로 공유되는 것을 특징으로 하는, 이종 데이터 임베딩을 이용한 전력 수요 예측 방법을 제공하여 달성될 수 있다.An object of the present invention is that the embedding module embeds power consumption data in a matrix form including a location dimension and at least one auxiliary data different from the power consumption data to extract and scale features from the power consumption data and the auxiliary data. Heterogeneous data embedding step of standardizing and generating embedded power consumption data and embedded auxiliary data; Based on the embedded auxiliary data and the embedded power consumption data, the encoder learns an attention weight which is a weight for calculating the degree of reflection of data to be concentrated from the power consumption data through the embedded power consumption data and the embedded auxiliary data. An encoding step of generating encoded data by applying a power consumption data encoding attention weight, which is an attention weight for the embedded power consumption data, to the embedded power consumption data; A decoder receives the encoded data and the past predicted encoded data, receives input again based on the weight of the encoded data and the past predicted encoded data, and then the past data decoded attention weight and the past encoded data. A decoding step of generating decoded data by applying a current data decoding attention weight, which is an attention weight for the encoded data previously learned based on the weight, to the encoded data; And a power consumption prediction module receiving the decoded data and predicting power consumption data of t + 1 through the decoded data, wherein each of the attention weights is shared in time series. It can be achieved by providing a power demand prediction method using heterogeneous data embedding.
또한, 본 발명의 다른 목적은, 위치 차원을 포함한 매트릭스 형태의 소비전력 데이터 및 상기 소비전력 데이터와 종류가 다른 적어도 하나 이상의 보조 데이터를 임베딩하여 상기 소비전력 데이터 및 상기 보조 데이터에서 특징을 추출하고 스케일을 표준화하여 임베디드 소비전력 데이터와 임베디드 보조 데이터를 생성하는 임베딩 모듈; 상기 임베디드 소비전력 데이터와 상기 임베디드 보조 데이터를 통해 상기 소비전력 데이터로부터 집중해야 할 데이터의 반영 정도를 계산하기 위한 가중치인 어텐션 가중치를 학습하고, 상기 임베디드 보조 데이터 및 상기 임베디드 소비전력 데이터를 기초로 기학습된 상기 임베디드 소비전력 데이터에 대한 어텐션 가중치인 소비전력 데이터 인코딩 어텐션 가중치를 상기 임베디드 소비전력 데이터에 적용하여 인코딩 데이터를 생성하는 인코더; 상기 인코딩 데이터 및 과거의 예측된 인코딩 데이터를 수신하고, 상기 인코딩 데이터의 가중치와 상기 과거의 예측된 인코딩 데이터를 기초로 다시 입력받은 뒤, 상기 과거 데이터 디코딩 어텐션 가중치 및 상기 과거의 인코딩 데이터의 가중치를 기초로 기학습된 상기 인코딩 데이터에 대한 어텐션 가중치인 현재 데이터 디코딩 어텐션 가중치를 상기 인코딩 데이터에 적용하여 디코딩 데이터를 생성하는 디코더; 및 상기 디코딩 데이터를 수신하고, 상기 디코딩 데이터를 통해 t+1의 소비전력 데이터를 예측하는 소비전력 예측 모듈;를 포함하고, 각각의 어텐션 가중치들은 시계열적으로 공유되는 것을 특징으로 하는, 이종 데이터 임베딩을 이용한 전력 수요 예측 장치를 제공하여 달성될 수 있다.In addition, another object of the present invention is to embed the power consumption data in the form of a matrix including a location dimension and at least one auxiliary data different from the power consumption data to extract and scale features from the power consumption data and the auxiliary data. An embedded module for standardizing the generated power consumption data and generating the embedded auxiliary data; Based on the embedded power consumption data and the embedded auxiliary data, the attention weight, which is a weight for calculating a degree of reflection of data to be concentrated from the power consumption data, is learned, and based on the embedded auxiliary data and the embedded power consumption data. An encoder for generating encoded data by applying power consumption data encoding attention weight, which is an attention weight for the embedded power consumption data, to the embedded power consumption data; Receiving the encoded data and the past predicted encoded data, and receiving the input again based on the weight of the encoded data and the past predicted encoded data, and then the past data decoding attention weight and the weight of the past encoded data. A decoder for generating decoded data by applying a current data decoding attention weight, which is an attention weight for the encoded data, previously learned to the encoded data; And a power consumption prediction module that receives the decoded data and predicts power consumption data of t + 1 through the decoded data, wherein each of the attention weights is shared in time series. It can be achieved by providing a power demand prediction apparatus using.
상기한 바와 같이, 본 발명에 의하면 이하와 같은 효과가 있다.As described above, the present invention has the following effects.
첫째, 본 발명의 일실시예에 따르면, 시계열적으로 데이터를 학습하면서도 어텐션 유닛에 의해 error vanishing 문제가 발생되지 않는 효과가 발생된다. RNN이나 LSTM과 같은 시계열적인 예측/분류 모델은 여러번의 Recurrent를 거치면서 error가 vanishing되어 제대로 된 예측/분류가 어려워지는 문제가 있었다.First, according to an embodiment of the present invention, while learning the data in time series, the effect of the error vanishing problem is not generated by the attention unit. Time series prediction / classification models such as RNN and LSTM have a problem that it is difficult to properly predict / classify due to error vanishing through several recurrents.
둘째, 본 발명의 일실시예에 따르면, 기존의 VAE보다 sparse한 시계열 데이터를 예측하는데 좀 더 정확해지는 효과가 발생된다. variational AE의 경우, 전체 입력된 데이터 set의 평균과 분산을 통해 새로운 데이터를 generate하는데에 좀 더 초점이 맞추어져 있으므로, 특이한 데이터가 sparse하게 존재할 경우, 이에 대한 학습이 쉽지 않으며, 평균과 분산에 의해 저러한 feature들이 학습에 잘 반영이 되지 않는 측면이 존재하기 때문에 Sparse 한 시계열 데이터를 예측하는 것이 어려운 문제가 있었다. Second, according to an embodiment of the present invention, a more accurate effect is generated in predicting sparse time series data than conventional VAE. In the case of variational AE, it is more focused on generating new data by averaging and variance of the entire input data set. Therefore, when unusual data exists sparse, it is not easy to learn about it. It was difficult to predict sparse time series data because there were aspects that did not reflect well in learning.
셋째, 본 발명의 일실시예에 따르면, 전기차 충전 수요 예측, 전기차 전력 수요 예측이 시계열적인 측면뿐만 아니라, 지역적인 측면까지도 정밀하게 가능해지는 효과가 발생된다.Third, according to an embodiment of the present invention, the electric vehicle charging demand prediction, the electric vehicle power demand prediction can be precisely enabled not only in the time series aspect but also in the regional aspect.
본 명세서에 첨부되는 다음의 도면들은 본 발명의 바람직한 실시예를 예시하는 것이며, 발명의 상세한 설명과 함께 본 발명의 기술사상을 더욱 이해시키는 역할을 하는 것이므로, 본 발명은 그러한 도면에 기재된 사항에만 한정되어 해석되어서는 아니 된다.
도 1은 본 발명의 일실시예에 따른 이종 데이터 임베딩을 이용한 전기차 전력 수요 예측 장치를 도시한 모식도,
도 2는 본 발명의 일실시예에 따른 임베딩 모듈을 도시한 모식도,
도 3은 본 발명의 일실시예에 따른 인코더의 구조를 도시한 모식도,
도 4는 본 발명의 일실시예에 따른 인코더의 시계열적인 형태를 도시한 것,
도 5는 본 발명의 일실시예에 따른 encoding layer(인코더, 11)의 시계열적 공유를 도시한 것,
도 6은 본 발명의 일실시예에 따른 디코더의 구조를 도시한 모식도,
도 7은 본 발명의 일실시예에 따른 디코더의 시계열적인 형태를 도시한 것,
도 8은 본 발명의 일실시예에 따른 디코더(20)의 시계열적 공유를 도시한 것,
도 9는 본 발명의 일실시예에 따른 이종 데이터 임베딩을 이용한 전기차 전력 수요 예측 방법을 도시한 것이다.The following drawings, which are attached to this specification, illustrate exemplary embodiments of the present invention, and together with the detailed description thereof, serve to further understand the technical spirit of the present invention. It should not be interpreted.
1 is a schematic diagram showing an electric vehicle power demand prediction apparatus using heterogeneous data embedding according to an embodiment of the present invention;
2 is a schematic diagram showing an embedding module according to an embodiment of the present invention;
3 is a schematic diagram showing the structure of an encoder according to an embodiment of the present invention;
4 illustrates a time series form of an encoder according to an embodiment of the present invention.
5 illustrates time series sharing of an encoding layer (encoder) 11 according to an embodiment of the present invention.
6 is a schematic diagram showing the structure of a decoder according to an embodiment of the present invention;
7 illustrates a time series form of a decoder according to an embodiment of the present invention,
8 illustrates time series sharing of a
9 illustrates an electric vehicle power demand prediction method using heterogeneous data embedding according to an embodiment of the present invention.
이하 첨부된 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 본 발명을 쉽게 실시할 수 있는 실시예를 상세히 설명한다. 다만, 본 발명의 바람직한 실시예에 대한 동작원리를 상세하게 설명함에 있어서 관련된 공지기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다.DETAILED DESCRIPTION Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings. However, in describing in detail the operating principle of the preferred embodiment of the present invention, if it is determined that the detailed description of the related known function or configuration may unnecessarily obscure the subject matter of the present invention, the detailed description thereof will be omitted.
또한, 도면 전체에 걸쳐 유사한 기능 및 작용을 하는 부분에 대해서는 동일한 도면 부호를 사용한다. 명세서 전체에서, 특정 부분이 다른 부분과 연결되어 있다고 할 때, 이는 직접적으로 연결되어 있는 경우뿐만 아니라, 그 중간에 다른 소자를 사이에 두고, 간접적으로 연결되어 있는 경우도 포함한다. 또한, 특정 구성요소를 포함한다는 것은 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라, 다른 구성요소를 더 포함할 수 있는 것을 의미한다.In addition, the same reference numerals are used for parts having similar functions and functions throughout the drawings. Throughout the specification, when a particular part is connected to another part, this includes not only the case where it is directly connected, but also the case where it is indirectly connected with another element in between. In addition, the inclusion of a specific component does not exclude other components unless specifically stated otherwise, it means that may further include other components.
아래의 상세한 설명에서는 사용자의 클라이언트에서 신경망 모델에 입력값을 넣어 컴퓨팅을 수행하는 것을 전제로 기재되었다. 하지만, 본 발명의 범위는 이에 한정되지 않는다. 본 발명은 입력값의 생성 디바이스로부터 사용자의 클라이언트에서 입력값을 받고(예를 들면, 근거리 통신), 사용자 클라이언트에서 컴퓨팅 서버로 입력값을 송신하여 컴퓨팅 서버에서 입력값을 신경망 모델에 넣어 컴퓨팅하도록 구성될 수도 있다. 즉, 컴퓨팅의 주체는 사용자 클라이언트가 될 수도 있고, 컴퓨팅 서버가 될수도 있으므로, 이를 본 명에서에서는 컴퓨팅 장치로 통일한다.In the following detailed description, it is assumed that computing is performed by putting input values into a neural network model in a user's client. However, the scope of the present invention is not limited thereto. The present invention is configured to receive inputs from a user's client from a device for generating inputs (e.g., near field communication), send the inputs from the user client to the computing server, and compute the inputs into the neural network model at the computing server. It may be. That is, the subject of computing may be a user client or a computing server, and thus, in the present invention, it is unified as a computing device.
이종 데이터 임베딩을 이용한 전기차 전력 수요 예측 장치Electric Vehicle Power Demand Forecasting Device Using Heterogeneous Data Embedding
도 1은 본 발명의 일실시예에 따른 이종 데이터 임베딩을 이용한 전기차 전력 수요 예측 장치를 도시한 모식도이다. 도 1에 도시된 바와 같이, 본 발명의 일실시예에 따른 이종 데이터 임베딩을 이용한 전기차 전력 수요 예측 장치(1)는, 임베딩 모듈(10), 인코더(11), 디코더(20), 소비전력 예측 모듈(21)을 포함할 수 있다. 1 is a schematic diagram showing an electric vehicle power demand prediction apparatus using heterogeneous data embedding according to an embodiment of the present invention. As shown in FIG. 1, the
임베딩 모듈(10)은 위치 차원을 포함한 매트릭스 형태로 구성된 소비전력 데이터(100) 및 상기 소비전력 데이터와 종류가 다른 적어도 하나 이상의 보조 데이터(101, 위치 차원을 포함한 매트릭스 형태로 구성된 날씨 데이터, 교통 데이터 등을 의미할 수 있음)를 수신하여 상기 소비전력 데이터(100)와 보조 데이터(101)에서 특징을 추출하고 스케일을 표준화하여 임베디드 소비전력 데이터와 임베디드 보조 데이터를 생성하는 모듈이다. The
도 2는 본 발명의 일실시예에 따른 임베딩 모듈을 도시한 모식도이다. 도 2에 도시된 바와 같이, 본 발명의 일실시예에 따른 임베딩 모듈(10)은 embedding layer를 포함할 수 있고, 인코더의 input layer와 연결될 수 있다. 임베딩 모듈(10)은 소비전력 데이터(100, charging data), 부가 데이터(101, traffic data, weather data 등)가 embedding layer에 입력되면 인공신경망을 통해 특징을 추출하고 스케일을 표준화하여 임베디드 소비전력 데이터(Extracted feature|charging data), 임베디드 보조 데이터(Extracted feature|traffic data and weather data)를 생성하여 인코더(11)의 input layer로 송신하게 된다. 2 is a schematic diagram showing an embedding module according to an embodiment of the present invention. As shown in FIG. 2, the
인코더(11)는 상기 임베디드 소비전력 데이터와 상기 임베디드 보조 데이터를 수신하고, 각각에 특정 어텐션 가중치(attention weight)를 부여한 뒤, Self consistent를 적용하여 인코딩 데이터(200)를 생성하는 모듈이다. 이때, 인코더(11)의 어텐션 가중치는 시계열적으로 공유되는 것을 특징으로 한다. The
도 3은 본 발명의 일실시예에 따른 인코더의 구조를 도시한 모식도이다. 도 3에 도시된 바와 같이, 본 발명의 일실시예에 따른 인코더(11)는 input layer와 encoding attention layer를 포함할 수 있다. input layer에서는 임베딩 모듈(10)에서 출력되는 임베디드 소비전력 데이터(Extracted feature|charging data), 임베디드 보조 데이터(Extracted feature|traffic data and weather data)를 입력받게 된다. Encoding attention layer에서는 어텐션 가중치 매트릭스(attention weight matrix)를 이용하여 어떤 데이터에 집중하여 인코딩하게 될 지를 결정하게 된다. 이때, 임베디드 소비전력 데이터에 적용되는 어텐션 가중치와 임베디드 보조 데이터에 적용되는 어텐션 가중치가 달리 적용되도록 설계될 수 있다. 3 is a schematic diagram showing the structure of an encoder according to an embodiment of the present invention. As shown in FIG. 3, the
본 발명의 일실시예에 따르면 임베디드 보조 데이터에 적용되는 어텐션 가중치인 보조 데이터 인코딩 어텐션 가중치는 임베디드 보조 데이터에 대한 가중치와 임베디드 소비전력 데이터에 대한 가중치를 이용하여 학습하게 된다. 예를 들어, 보조 데이터 인코딩 어텐션 가중치는 아래 수학식 1과 같이 계산되어 학습될 수 있다. According to an embodiment of the present invention, the auxiliary data encoding attention weight, which is the attention weight applied to the embedded auxiliary data, is learned by using the weight of the embedded auxiliary data and the weight of the embedded power consumption data. For example, the auxiliary data encoding attention weight may be calculated and learned as in
위 수학식 1에서 wsub은 보조 데이터 인코딩 어텐션 가중치, a0는 상수, Q는 임베디드 보조 데이터에 대한 가중치, V는 임베디드 소비전력 데이터에 대한 가중치, T는 시간을 의미할 수 있다. In
또한, 본 발명의 일실시예에 따르면 임베디드 소비전력 데이터에 적용되는 어텐션 가중치인 소비전력 데이터 인코딩 어텐션 가중치는 임베디드 소비전력 데이터에 대한 가중치를 이용하여 학습하게 된다. 예를 들어, 소비전력 데이터 인코딩 어텐션 가중치는 아래 수학식 2와 같이 계산되어 학습될 수 있다. In addition, according to an embodiment of the present invention, the power consumption data encoding attention weight, which is the attention weight applied to the embedded power consumption data, is learned using the weight of the embedded power consumption data. For example, the power consumption data encoding attention weight may be calculated and learned as in Equation 2 below.
위 수학식 2에서 wmain은 소비전력 데이터 인코딩 어텐션 가중치, a0QVT는 보조 데이터 인코딩 어텐션 가중치, V는 임베디드 소비전력 데이터에 대한 가중치, h는 hypothesis function을 의미할 수 있다. In Equation 2, w main may represent a power consumption data encoding attention weight, a 0 QV T is an auxiliary data encoding attention weight, V is a weight for embedded power consumption data, and h may mean a hypothesis function.
인코더(11)는 도 3에 도시된 바와 같이, 위의 수학식에 따라 계산된 어텐션 가중치를 이용하여 임베디드 소비전력 데이터와 임베디드 보조 데이터를 add & normalization하는 방법으로 인코딩 데이터를 생성하도록 구성될 수 있다. As shown in FIG. 3, the
도 4는 본 발명의 일실시예에 따른 인코더의 시계열적인 형태를 도시한 것이다. 도 4에 도시된 바와 같이, 본 발명의 일실시예에 따른 인코더(11)는 encoding attention layer를 시계열적으로 공유하도록 구성될 수 있다. 이는 상기 소비전력 데이터 인코딩 어텐션 가중치와 보조 데이터 인코딩 어텐션 가중치를 시계열적으로 공유할 수 있다는 것을 의미할 수 있다. 4 illustrates a time series form of an encoder according to an embodiment of the present invention. As shown in FIG. 4, the
도 5는 본 발명의 일실시예에 따른 encoding layer(인코더, 11)의 시계열적 공유를 도시한 것이다. 도 5에 도시된 바와 같이, 시계열적으로 encoding attention layer가 공유되고, concatenating layer에 의해 encoding attention layer의 self consistent가 수행되게 되고, 인코딩 데이터를 출력하게 된다. 5 illustrates time series sharing of an encoding layer (encoder) 11 according to an embodiment of the present invention. As shown in FIG. 5, the encoding attention layer is shared in time series, the self consistent of the encoding attention layer is performed by the concatenating layer, and the encoded data is output.
디코더(20)는 시간 t의 인코딩 데이터(200)와 시간 t-1의 인코딩 데이터(200')를 수신하고, 각각에 특정 어텐션 가중치를 부여한 뒤, Self consistent를 적용하여 디코딩 데이터를 생성하는 모듈이다. 이때, 디코더(20)의 어텐션 가중치는 시계열적으로 공유되는 것을 특징으로 한다. The
도 6은 본 발명의 일실시예에 따른 디코더의 구조를 도시한 모식도이다. 도 6에 도시된 바와 같이, 본 발명의 일실시예에 따른 디코더(20)는 input layer와 decoding attention layer를 포함할 수 있다. 디코더(20)의 input layer에서는 인코더(11)에서 출력되는 시간 t의 인코딩 데이터(output from encoding layer) 및 시간 t-1의 인코딩 데이터(output position and value of yt-1)를 입력받게 된다.6 is a schematic diagram showing the structure of a decoder according to an embodiment of the present invention. As shown in FIG. 6, the
decoding attention layer에서는 어텐션 가중치 매트릭스(attention weight matrix)를 이용하여 어떤 데이터에 집중하여 디코딩하게 될지를 결정하게 된다. 이때, 시간 t의 인코딩 데이터에 적용되는 어텐션 가중치와 시간 t-1의 인코딩 데이터에 적용되는 어텐션 가중치가 달리 적용되도록 설계될 수 있다. In the decoding attention layer, an attention weight matrix is used to determine which data to concentrate on decoding. In this case, the attention weight applied to the encoded data of time t and the attention weight applied to the encoded data of time t-1 may be designed to be applied differently.
본 발명의 일실시예에 따르면 시간 t-1의 인코딩 데이터(과거 인코딩 데이터)에 적용되는 어텐션 가중치인 과거 데이터 디코딩 어텐션 가중치는 시간 t-1의 인코딩 데이터에 대한 가중치와 시간 t의 인코딩 데이터에 대한 가중치를 이용하여 학습하게 된다. 예를 들어, 과거 데이터 디코딩 어텐션 가중치는 아래 수학식 3과 같이 계산되어 학습될 수 있다. According to an embodiment of the present invention, the past data decoding attention weight, which is an attention weight applied to the encoding data (historical encoding data) of time t-1, is used to determine the weight of the encoding data of time t-1 and the encoding data of time t-1. You will learn using weights. For example, the past data decoding attention weight may be calculated and learned as in Equation 3 below.
위 수학식 3에서 w past은 과거 데이터 디코딩 어텐션 가중치, a0는 상수, Q'는 과거 인코딩 데이터에 대한 가중치, V'는 시간 T의 인코딩 데이터에 대한 가중치, T는 시간을 의미할 수 있다. In Equation 3, w past may represent a past data decoding attention weight, a 0 may represent a constant, Q 'may represent a weight for past encoded data, V' may mean a weight for encoded data of time T, and T may represent time.
또한, 본 발명의 일실시예에 따르면 시간 T의 인코딩 데이터에 적용되는 어텐션 가중치인 현재 데이터 디코딩 어텐션 가중치는 시간 T의 인코딩 데이터에 대한 가중치를 이용하여 학습하게 된다. 예를 들어, 현재 데이터 디코딩 어텐션 가중치는 아래 수학식 4와 같이 계산되어 학습될 수 있다. In addition, according to an embodiment of the present invention, the current data decoding attention weight, which is the attention weight applied to the encoded data of time T, is learned using the weight of the encoded data of time T. For example, the current data decoding attention weight may be calculated and learned as in Equation 4 below.
위 수학식 4에서 wpresent은 현재 데이터 디코딩 어텐션 가중치, a0Q'V'T는 과거 데이터 디코딩 어텐션 가중치, V'는 시간 T의 인코딩 데이터에 대한 가중치, h는 hypothesis function을 의미할 수 있다. In Equation 4, w present may represent a current data decoding attention weight, a 0 Q'V ' T is a historical data decoding attention weight, V' is a weight for encoding data of time T, and h may mean a hypothesis function.
디코더(20)는 도 6에 도시된 바와 같이, 위의 수학식에 따라 계산된 어텐션 가중치를 이용하여 현재의 인코딩 데이터와 과거의 인코딩 데이터를 add & normalization하는 방법으로 디코딩 데이터를 생성하도록 구성될 수 있다. As shown in FIG. 6, the
도 7은 본 발명의 일실시예에 따른 디코더의 시계열적인 형태를 도시한 것이다. 도 7에 도시된 바와 같이, 본 발명의 일실시예에 따른 디코더(20)는 decoding attention layer를 시계열적으로 공유하도록 구성될 수 있다. 이는 상기 현재 데이터 디코딩 어텐션 가중치와 과거 데이터 디코딩 어텐션 가중치를 시계열적으로 공유할 수 있다는 것을 의미할 수 있다. 7 illustrates a time series form of a decoder according to an embodiment of the present invention. As shown in FIG. 7, the
도 8은 본 발명의 일실시예에 따른 디코더(20)의 시계열적 공유를 도시한 것이다. 도 8에 도시된 바와 같이, 시계열적으로 decoding attention layer가 공유되고, concatenating layer에 의해 decoding attention layer의 self consistent가 수행되게 되고, 디코딩 데이터를 출력하게 된다. 8 illustrates time series sharing of a
소비전력 예측 모듈(21)은 상기 디코딩 데이터를 수신하고, 상기 디코딩 데이터를 입력데이터로 하여 t+1의 소비전력 데이터(300)를 예측하는 출원일 당시의 통상의 기술자에게 일반적인 예측 모듈(선형 회귀분석, 로지스틱 회귀분석, SVM, 랜덤포레스트, 인공신경망 등)이다. The power
이종 데이터 임베딩을 이용한 전기차 전력 수요 예측 방법Electric Vehicle Power Demand Forecasting Method Using Heterogeneous Data Embedding
도 9는 본 발명의 일실시예에 따른 이종 데이터 임베딩을 이용한 전기차 전력 수요 예측 방법을 도시한 것이다. 도 9에 도시된 바와 같이, 본 발명의 일실시예에 따른 이종 데이터 임베딩을 이용한 전기차 전력 수요 예측 방법은 이종 데이터 임베딩 단계(S10), 인코딩 단계(S20), 디코딩 단계(S30), 소비전력 예측 단계(S40)를 포함할 수 있다. 9 illustrates an electric vehicle power demand prediction method using heterogeneous data embedding according to an embodiment of the present invention. As shown in FIG. 9, the electric vehicle power demand prediction method using heterogeneous data embedding according to an embodiment of the present invention includes heterogeneous data embedding step S10, encoding step S20, decoding step S30, and power consumption prediction. Step S40 may be included.
임베딩 단계(S10)는 임베딩 모듈(10)이 위치 차원을 포함한 매트릭스 형태로 구성된 소비전력 데이터(100) 및 상기 소비전력 데이터와 종류가 다른 적어도 하나 이상의 보조 데이터(101, 위치 차원을 포함한 매트릭스 형태로 구성된 날씨 데이터, 교통 데이터 등을 의미할 수 있음)를 수신하여 상기 소비전력 데이터(100)와 보조 데이터(101)에서 특징을 추출하고 스케일을 표준화하여 임베디드 소비전력 데이터와 임베디드 보조 데이터를 생성하는 단계이다. In the embedding step S10, the power consumption data 100 in which the embedding
인코딩 단계(S20)는 인코더(11)가 상기 임베디드 소비전력 데이터와 상기 임베디드 보조 데이터를 수신하고, 각각에 특정 어텐션 가중치(attention weight)를 부여한 뒤, Self consistent를 적용하여 인코딩 데이터(200)를 생성하는 단계이다.In the encoding step S20, the
디코딩 단계(S30)는 디코더(20)가 시간 t(현재)의 인코딩 데이터(200)와 시간 t-1(과거)의 인코딩 데이터(200')를 수신하고, 각각에 특정 어텐션 가중치를 부여한 뒤, Self consistent를 적용하여 디코딩 데이터를 생성하는 단계이다. In the decoding step S30, the
소비전력 예측 단계(S40)는 소비전력 예측 모듈(21)이 상기 디코딩 데이터를 수신하고, 상기 디코딩 데이터를 통해 t+1의 소비전력 데이터(300)를 예측하는 단계이다. In the power consumption prediction step S40, the power
이상에서 설명한 바와 같이, 본 발명이 속하는 기술 분야의 통상의 기술자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 상술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해해야만 한다. 본 발명의 범위는 상세한 설명보다는 후술하는 청구범위에 의하여 나타내어지며, 청구범위의 의미 및 범위 그리고 등가 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함하는 것으로 해석되어야 한다.As described above, those skilled in the art will understand that the present invention can be implemented in other specific forms without changing the technical spirit or essential features. Therefore, the above-described embodiments are to be understood in all respects as illustrative and not restrictive. The scope of the present invention is shown by the following claims rather than the detailed description, and it should be construed that all changes or modifications derived from the meaning and scope of the claims and equivalent concepts are included in the scope of the present invention.
1: 이종 데이터 임베딩을 이용한 전기차 전력 수요 예측 장치
10: 임베딩 모듈
11: 인코더
20: 디코더
21: 소비전력 예측 모듈
100: 소비전력 데이터
101: 보조 데이터
200: 인코딩 데이터
200': 과거 인코딩 데이터
300: t+1 소비전력 데이터1: Electric vehicle power demand prediction device using heterogeneous data embedding
10: embedding module
11: encoder
20: decoder
21: power consumption prediction module
100: power consumption data
101: auxiliary data
200: encoded data
200 ': Historically encoded data
300: t + 1 power consumption data
Claims (1)
상기 인코딩 데이터 및 과거의 인코딩 데이터를 수신하고, 상기 인코딩 데이터의 가중치와 상기 과거의 인코딩 데이터의 가중치를 기초로 아래 수학식 2와 같이 기학습된 과거 데이터 디코딩 어텐션 가중치를 다시 입력받은 뒤, 상기 과거 데이터 디코딩 어텐션 가중치 및 상기 인코딩 데이터의 가중치를 기초로 아래 수학식 3과 같이 기학습된 상기 인코딩 데이터에 대한 어텐션 가중치인 현재 데이터 디코딩 어텐션 가중치를 상기 인코딩 데이터에 적용하여 디코딩 데이터를 생성하는 디코더;
를 포함하고,
상기 디코딩 데이터가 t+1의 소비전력 데이터를 예측하는 모듈의 입력 데이터로 입력되는 것을 특징으로 하는,
인코딩 어텐션 가중치 및 디코딩 어텐션 가중치를 이용한 전기차 전력 수요 예측 장치:
[수학식 1]
상기 수학식 1에서 wmain은 상기 소비전력 데이터 인코딩 어텐션 가중치, a0는 상수, Q는 상기 보조 데이터에 대한 가중치, V는 상기 소비전력 데이터에 대한 가중치, T는 시간, a0QVT는 보조 데이터 인코딩 어텐션 가중치 및 h는 hypothesis function을 의미하고,
[수학식 2]
상기 수학식 2에서 wpast은 상기 과거 데이터 디코딩 어텐션 가중치, a0는 상수, Q'는 상기 과거의 인코딩 데이터에 대한 가중치 및 V’는 시간 T의 인코딩 데이터에 대한 가중치를 의미하며,
[수학식 3]
상기 수학식 3에서 wpresent은 상기 현재 데이터 디코딩 어텐션 가중치, a0Q'V'T는 상기 과거 데이터 디코딩 어텐션 가중치, 상기 V’는 시간 T의 인코딩 데이터에 대한 가중치 및 h는 hypothesis function을 의미한다.
Attention weights, which are matrix weights, are used to calculate the degree of reflection of data to be concentrated from the power consumption data through power consumption data in a matrix form including a location dimension and at least one auxiliary data different from the power consumption data. Based on the auxiliary data and the power consumption data, encoding data is generated by applying the power consumption data encoding attention weight, which is an attention weight to the power consumption data previously learned as in Equation 1, to the power consumption data. An encoder; And
Receiving the encoded data and the past encoded data, and based on the weight of the encoding data and the weight of the past encoding data, the past data decoding attention weights previously learned as shown in Equation 2 below are input again, the past A decoder for generating decoded data by applying a current data decoding attention weight, which is an attention weight for the encoded data previously learned as in Equation 3 below, based on a data decoding attention weight and the weight of the encoded data;
Including,
The decoded data is input as input data of a module for predicting power consumption data of t + 1,
Electric vehicle power demand prediction apparatus using encoding attention weight and decoding attention weight:
[Equation 1]
In Equation 1, w main is the power consumption data encoding attention weight, a 0 is a constant, Q is the weight for the auxiliary data, V is the weight for the power data, T is time, a 0 QV T is auxiliary Data encoding attention weight and h means hypothesis function,
[Equation 2]
In Equation 2, w past denotes the past data decoding attention weight, a 0 denotes a constant, Q 'denotes a weight of the past encoded data, and V ′ denotes a weight of the encoded data of time T.
[Equation 3]
In Equation 3, w present denotes the current data decoding attention weight, a 0 Q'V ' T denotes the historical data decoding attention weight, V' denotes a weight for the encoded data of time T, and h denotes a hypothesis function. .
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190033223A KR102080094B1 (en) | 2019-03-22 | 2019-03-22 | Apparatus for estimating power demand using attention matrix |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190033223A KR102080094B1 (en) | 2019-03-22 | 2019-03-22 | Apparatus for estimating power demand using attention matrix |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020170111404A Division KR101963558B1 (en) | 2017-08-31 | 2017-08-31 | Apparatus for estimating power demand using attention matrix |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20190035637A KR20190035637A (en) | 2019-04-03 |
| KR102080094B1 true KR102080094B1 (en) | 2020-02-21 |
Family
ID=66165762
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020190033223A KR102080094B1 (en) | 2019-03-22 | 2019-03-22 | Apparatus for estimating power demand using attention matrix |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102080094B1 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115730710B (en) * | 2022-11-11 | 2023-09-08 | 广东工业大学 | Electric vehicle daily charging demand curve prediction method based on attention mechanism |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101355332B1 (en) | 2009-07-09 | 2014-01-27 | 퀄컴 인코포레이티드 | Different weights for uni-directional prediction and bi-directional prediction in video coding |
| KR101570302B1 (en) | 2014-10-27 | 2015-11-19 | 성균관대학교산학협력단 | Method and system for predicting demand of recharging electric vehicles for electricity network management |
-
2019
- 2019-03-22 KR KR1020190033223A patent/KR102080094B1/en active IP Right Grant
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101355332B1 (en) | 2009-07-09 | 2014-01-27 | 퀄컴 인코포레이티드 | Different weights for uni-directional prediction and bi-directional prediction in video coding |
| KR101570302B1 (en) | 2014-10-27 | 2015-11-19 | 성균관대학교산학협력단 | Method and system for predicting demand of recharging electric vehicles for electricity network management |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20190035637A (en) | 2019-04-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Hensher et al. | Bus rapid transit systems: a comparative assessment | |
| Boulanger et al. | Vehicle electrification: Status and issues | |
| Kurczveil et al. | Implementation of an Energy Model and a Charging Infrastructure in SUMO | |
| Githui et al. | The structure of users' satisfaction on urban public transport service in developing country: the case of Nairobi | |
| Venkitaraman et al. | A review on autonomous electric vehicle communication networks-progress, methods and challenges | |
| WO2019216449A1 (en) | Method and apparatus for time series artificial neural network electric vehicle power demand prediction, using spatio-temporal fusion of power demand data and heterogeneous data | |
| Sun et al. | Time series anomaly detection based on GAN | |
| US20190145789A1 (en) | Methods and Apparatuses for Fuel Consumption Prediction | |
| US9770985B2 (en) | System for guiding economic driving, vehicle applied to the same, and method thereof | |
| CN106779116B (en) | Online taxi appointment customer credit investigation method based on time-space data mining | |
| CN112200046A (en) | Driving behavior recognition method and device, electronic equipment and storage medium | |
| KR102080094B1 (en) | Apparatus for estimating power demand using attention matrix | |
| CN105489021A (en) | User behavior data-based vehicle owner identification method and device | |
| He et al. | Road grade prediction for predictive energy management in hybrid electric vehicles | |
| CN111833074A (en) | Dispute responsibility confirmation method and device for network appointment vehicle and computer readable storage medium | |
| KR102080093B1 (en) | Apparatus for estimating power demand using heterogeneous data embedding | |
| KR101963557B1 (en) | Apparatus for estimating power demand using heterogeneous data embedding | |
| KR101963558B1 (en) | Apparatus for estimating power demand using attention matrix | |
| WO2020058234A1 (en) | Device for predicting the most probable route of a vehicle | |
| Park et al. | This car is mine!: Automobile theft countermeasure leveraging driver identification with generative adversarial networks | |
| Thonglek et al. | Ivaa: Intelligent vehicle accident analysis system | |
| Hao et al. | Evaluate the System-Level Impact of Connected and Automated Vehicles Coupled with Shared Mobility: An Agent-based Simulation Approach | |
| Cao | Dynamic management network system of automobile detection applying edge computing | |
| CN113196332A (en) | Method for determining a traffic infrastructure, electronic computing device for carrying out the method, and computer program and data carrier | |
| Hwang et al. | Prediction of hybrid electric bus speed using deep learning method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A107 | Divisional application of patent | ||
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |