KR102377474B1 - Lost data recovery method and apparatus using parameter transfer lstm - Google Patents
Lost data recovery method and apparatus using parameter transfer lstm Download PDFInfo
- Publication number
- KR102377474B1 KR102377474B1 KR1020200152145A KR20200152145A KR102377474B1 KR 102377474 B1 KR102377474 B1 KR 102377474B1 KR 1020200152145 A KR1020200152145 A KR 1020200152145A KR 20200152145 A KR20200152145 A KR 20200152145A KR 102377474 B1 KR102377474 B1 KR 102377474B1
- Authority
- KR
- South Korea
- Prior art keywords
- data
- data sets
- backward
- lstm layer
- lstm
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/08—Error detection or correction by redundancy in data representation, e.g. by using checking codes
- G06F11/10—Adding special bits or symbols to the coded information, e.g. parity check, casting out 9's or 11's
- G06F11/1008—Adding special bits or symbols to the coded information, e.g. parity check, casting out 9's or 11's in individual solid state devices
- G06F11/1048—Adding special bits or symbols to the coded information, e.g. parity check, casting out 9's or 11's in individual solid state devices using arrangements adapted for a specific error detection or correction feature
- G06F11/106—Correcting systematically all correctable errors, i.e. scrubbing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/08—Error detection or correction by redundancy in data representation, e.g. by using checking codes
- G06F11/10—Adding special bits or symbols to the coded information, e.g. parity check, casting out 9's or 11's
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/16—Error detection or correction of the data by redundancy in hardware
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/16—Error detection or correction of the data by redundancy in hardware
- G06F11/1666—Error detection or correction of the data by redundancy in hardware where the redundant component is memory or memory area
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Quality & Reliability (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
Description
본 발명은 파라미터 전이 LSTM(Long Short-Term Memory)을 이용한 손실 데이터 복구 방법 및 장치에 관한 것으로, 보다 구체적으로는 클라우드 서버, 로컬 서버, 주변 기지국(Road Side Unit, RSU) 및 차량 단말기(On-Board Unit, OBU)로 구성된 V2I(Vehicle to Infrastructure) 네트워크 환경에서, RSU의 기계적 고장으로 인하여 데이터의 수집이 불가능한 경우, 해당 RSU 구간에 대한 시공간 데이터를 복구하는 방법 및 장치에 관한 것이다.The present invention relates to a method and apparatus for recovering lost data using parameter transfer LSTM (Long Short-Term Memory), and more particularly, to a cloud server, a local server, a peripheral base station (Road Side Unit, RSU) and a vehicle terminal (On- When data collection is impossible due to a mechanical failure of an RSU in a V2I (Vehicle to Infrastructure) network environment composed of a Board Unit, OBU), it relates to a method and apparatus for recovering spatiotemporal data for the corresponding RSU section.
최근 지능형 교통 시스템(Intelligent Transport Systems, ITS)은 스마트 시티의 혁신적 발전과 교통 시스템의 효과적인 관리가 가능하여 주목을 받고 있다. ITS 기술은 다양한 소스로부터 다양한 교통 정보를 적극적으로 수집할 수 있으며, 이를 통해 서비스 제공 업체가 차량 및 도로 유지 보수, 장기 및 단기 교통 관리, 도로 안전, 편의 서비스와 같은 데이터 기반 서비스를 제공할 수 있는 기반이 되었다. 서비스 제공 업체의 경우 예기치 않은 네트워크 오작동이 발생하더라도 차량에 원활한 서비스를 지원하는 것이 가장 중요한 목표이다. 이를 위해 이러한 네트워크 오작동 또는 네트워크 장애로 인해 누락된 데이터의 대치는 원활한 데이터 기반 서비스를 제공하는 데 필수적인 역할을 할 수 있다.Recently, intelligent transport systems (ITS) are attracting attention because of the innovative development of smart cities and effective management of transport systems. ITS technology can actively collect a variety of traffic information from a variety of sources, allowing service providers to provide data-driven services such as vehicle and road maintenance, long-term and short-term traffic management, road safety, and convenience services. became the basis For service providers, the most important goal is to provide smooth service to their vehicles even in the event of unexpected network malfunctions. To this end, replacement of missing data due to such network malfunction or network failure can play an essential role in providing smooth data-based services.
그러나 동적이고, 복잡하며, 확률적 특성을 가지는 트래픽으로 인해 차량에서 누락된 데이터를 인프라(V2I) 네트워크로 복구하는 것은 어려울 수 있다. RSU에서 수집된 교통 데이터는 시간과 위치(즉, 시공간 영역)에 따라 변하기 때문에 데이터 복구 성능은 환경 변화에 크게 좌우되므로 미리 결정된 모델이나 알고리즘을 사용하기 어려운 문제가 있다. However, it may be difficult to recover missing data from a vehicle to an infrastructure (V2I) network due to traffic with dynamic, complex, and stochastic characteristics. Since the traffic data collected from the RSU changes with time and location (ie, space-time domain), data recovery performance is highly dependent on changes in the environment, so it is difficult to use a predetermined model or algorithm.
게다가 데이터 복구의 효율성을 고려하면 문제가 더욱 어려워질 수 있다. 일례로, 대용량 데이터를 처리해야하는 경우 누락된 데이터를 복구하는 데 필요한 시간이 길어 필요할 때 복구된 데이터를 사용하지 못할 수 있다. 따라서 데이터 복구 성능을 저하시키지 않으면서 데이터 복구에 필요한 시간을 줄일 수 있는 효율적인 알고리즘이 요구되고 있다.Moreover, considering the efficiency of data recovery, the problem can be made more difficult. For example, if large amounts of data need to be processed, the time required to recover missing data may be long and the recovered data may not be available when needed. Therefore, there is a need for an efficient algorithm capable of reducing the time required for data recovery without degrading data recovery performance.
본 발명은 학습된 LSTM 레이어의 파라미터를 다음 레이어로 전이하여 초기 파라미터 값을 기존에 학습된 데이터의 파라미터로 사용함으로써 전체 데이터를 학습하는데 요구되는 계산량을 감소시키는 손실 데이터 복구 방법 및 장치를 제공한다.The present invention provides a method and apparatus for recovering lost data that reduces the amount of computation required to learn the entire data by transferring the parameters of the learned LSTM layer to the next layer and using the initial parameter values as parameters of the previously learned data.
본 발명의 일실시예에 따른 손실 데이터 복구 방법은 특정 공간의 손실 데이터에 대한 이전 공간 및 이후 공간에 대응하는 N 개의 순방향 데이터 셋들 및 N 개의 역방향 데이터 셋들을 수신하는 단계; 상기 N 개의 순방향 데이터 셋들 및 N 개의 역방향 데이터 셋들을 이용하여 공간 순서에 따라 배치된 개별 LSTM(Long Short-Term Memory) 레이어들을 학습함으로써 상기 N 개의 순방향 데이터 셋들에 대한 제1 훈련 LSTM 레이어 및 상기 N 개의 역방향 데이터 셋들에 대한 제2 훈련 LSTM 레이어를 생성하는 단계; 상기 생성된 제1 훈련 LSTM 레이어 및 제2 훈련 LSTM 레이어를 이용하여 상기 특정 공간에 대한 순방향 예측 데이터 및 역방향 예측 데이터를 각각 추출하는 단계; 및 상기 순방향 예측 데이터 및 역방향 예측 데이터의 상관도에 기초하여 상기 특정 공간에 대한 손실 데이터를 복구하는 단계를 포함할 수 있다.A method for recovering lost data according to an embodiment of the present invention includes: receiving N forward data sets and N backward data sets corresponding to a space before and after space for lost data in a specific space; A first training LSTM layer for the N forward data sets and the N by learning individual Long Short-Term Memory (LSTM) layers arranged in spatial order using the N forward data sets and the N backward data sets. generating a second training LSTM layer for the backward data sets; extracting forward prediction data and backward prediction data for the specific space using the generated first training LSTM layer and the second training LSTM layer, respectively; and recovering the lost data for the specific space based on the correlation between the forward prediction data and the backward prediction data.
상기 생성하는 단계는 시계열 데이터로 구성된 상기 N 개의 순방향 데이터 셋들 중 첫번째 순방향 데이터 셋을 이용하여 제1 LSTM 레이어를 시간에 따라 학습하는 단계; 및 상기 첫번째 순방향 데이터 셋 이후의 순방향 데이터 셋들 각각에 대해 이전 LSTM 레이어를 통해 학습된 파라미터를 적용하여 해당 순방향 데이터 셋들 각각에 대응하는 제2 LSTM 레이어들을 차례대로 학습함으로써 상기 순방향 데이터 셋들에 대한 제1 훈련 LSTM 레이어를 생성하는 단계를 포함할 수 있다.The generating may include: learning a first LSTM layer over time using a first forward data set among the N forward data sets composed of time series data; and sequentially learning the second LSTM layers corresponding to each of the forward data sets by applying the parameters learned through the previous LSTM layer to each of the forward data sets after the first forward data set. generating a training LSTM layer.
상기 생성하는 단계는 시계열 데이터로 구성된 상기 N 개의 역방향 데이터 셋들 중 첫번째 역방향 데이터 셋을 이용하여 제3 LSTM 레이어를 시간에 따라 학습하는 단계; 및 상기 첫번째 역방향 데이터 셋 이후의 역방향 데이터 셋들 각각에 대해 이전 LSTM 레이어를 통해 학습된 파라미터를 적용하여 해당 역방향 데이터 셋들 각각에 대응하는 제4 LSTM 레이어들을 차례대로 학습함으로써 상기 역방향 데이터 셋들에 대한 제2 훈련 LSTM 레이어를 생성하는 단계를 포함할 수 있다.The generating may include: learning a third LSTM layer over time using a first backward data set among the N backward data sets composed of time series data; and by sequentially learning the fourth LSTM layers corresponding to each of the reverse data sets by applying the parameters learned through the previous LSTM layer to each of the backward data sets after the first backward data set, the second for the reverse data sets generating a training LSTM layer.
상기 추출하는 단계는 상기 생성된 제1 훈련 LSTM 레이어 및 제2 훈련 LSTM 레이어에 상기 특정 공간의 직전 공간에 대응하는 순방향 데이터 셋 및 직후 공간에 대응하는 역방향 데이터 셋을 각각 입력함으로써 상기 특정 공간에 대한 순방향 예측 데이터 및 역방향 예측 데이터를 추출할 수 있다.The extracting step is performed by inputting a forward data set corresponding to the immediately preceding space of the specific space and a backward data set corresponding to the immediately immediate space to the generated first training LSTM layer and the second training LSTM layer, respectively, for the specific space. Forward prediction data and backward prediction data may be extracted.
상기 복구하는 단계는 상기 N 개의 순방향 데이터 셋들에 대한 제1 상관 계수 및 상기 N 개의 역방향 데이터 셋들에 대한 제2 상관 계수를 이용하여 가중치를 계산하는 단계; 및 상기 계산된 가중치를 상기 순방향 예측 데이터 및 역방향 예측 데이터에 적용함으로써 상기 특정 공간에 대한 손실 데이터를 복구하는 단계를 포함할 수 있다.The restoring may include: calculating a weight using a first correlation coefficient for the N forward data sets and a second correlation coefficient for the N backward data sets; and recovering lost data for the specific space by applying the calculated weight to the forward prediction data and the backward prediction data.
상기 가중치는 상기 제1 상관 계수 및 제2 상관 계수의 비율을 통해 계산될 수 있다.The weight may be calculated through a ratio of the first correlation coefficient and the second correlation coefficient.
상기 생성하는 단계는 평균 제곱 오차(mean squared error, MSE)에 대응하는 손실함수를 이용하여 상기 개별 LSTM 레이어들 각각의 파라미터를 업데이트 할 수 있다.In the generating, each parameter of the individual LSTM layers may be updated using a loss function corresponding to a mean squared error (MSE).
본 발명의 일실시예에 따른 손실 데이터 복구 장치는 프로세서를 포함하고, 상기 프로세서는 특정 공간의 손실 데이터에 대한 이전 공간 및 이후 공간에 대응하는 N 개의 순방향 데이터 셋들 및 N 개의 역방향 데이터 셋들을 수신하고, 상기 N 개의 순방향 데이터 셋들 및 N 개의 역방향 데이터 셋들을 이용하여 공간 순서에 따라 배치된 개별 LSTM(Long Short-Term Memory) 레이어들을 학습함으로써 상기 N 개의 순방향 데이터 셋들에 대한 제1 훈련 LSTM 레이어 및 상기 N 개의 역방향 데이터 셋들에 대한 제2 훈련 LSTM 레이어를 생성하며, 상기 생성된 제1 훈련 LSTM 레이어 및 제2 훈련 LSTM 레이어를 이용하여 상기 특정 공간에 대한 순방향 예측 데이터 및 역방향 예측 데이터를 각각 추출하고, 상기 순방향 예측 데이터 및 역방향 예측 데이터의 상관도에 기초하여 결정된 결측 값을 상기 특정 공간에 대한 손실 데이터를 복구할 수 있다.Loss data recovery apparatus according to an embodiment of the present invention includes a processor, wherein the processor receives N forward data sets and N backward data sets corresponding to spaces before and after loss data in a specific space, and , a first training LSTM layer for the N forward data sets by learning individual Long Short-Term Memory (LSTM) layers arranged in spatial order using the N forward data sets and the N backward data sets; and Generate a second training LSTM layer for N backward data sets, and extract forward prediction data and backward prediction data for the specific space using the generated first training LSTM layer and second training LSTM layer, respectively, Loss data for the specific space may be recovered from a missing value determined based on the correlation between the forward prediction data and the backward prediction data.
상기 프로세서는 시계열 데이터로 구성된 상기 N 개의 순방향 데이터 셋들 중 첫번째 순방향 데이터 셋을 이용하여 제1 LSTM 레이어를 시간에 따라 학습하고, 상기 첫번째 순방향 데이터 셋 이후의 순방향 데이터 셋들 각각에 대해 이전 LSTM 레이어를 통해 학습된 파라미터를 적용하여 해당 순방향 데이터 셋들 각각에 대응하는 제2 LSTM 레이어들을 차례대로 학습함으로써 상기 순방향 데이터 셋들에 대한 제1 훈련 LSTM 레이어를 생성할 수 있다.The processor learns the first LSTM layer over time by using the first forward data set among the N forward data sets composed of time series data, and for each of the forward data sets after the first forward data set through the previous LSTM layer The first training LSTM layer for the forward data sets may be generated by sequentially learning the second LSTM layers corresponding to each of the corresponding forward data sets by applying the learned parameter.
상기 프로세서는 시계열 데이터로 구성된 상기 N 개의 역방향 데이터 셋들 중 첫번째 역방향 데이터 셋을 이용하여 제3 LSTM 레이어를 시간에 따라 학습하고, 상기 첫번째 역방향 데이터 셋 이후의 역방향 데이터 셋들 각각에 대해 이전 LSTM 레이어를 통해 학습된 파라미터를 적용하여 해당 역방향 데이터 셋들 각각에 대응하는 제4 LSTM 레이어들을 차례대로 학습함으로써 상기 역방향 데이터 셋들에 대한 제2 훈련 LSTM 레이어를 생성할 수 있다.The processor learns a third LSTM layer over time using a first backward data set among the N backward data sets composed of time series data, and for each of the backward data sets after the first backward data set, through the previous LSTM layer A second training LSTM layer for the backward data sets may be generated by sequentially learning the fourth LSTM layers corresponding to each of the corresponding backward data sets by applying the learned parameter.
상기 프로세서는 상기 생성된 제1 훈련 LSTM 레이어 및 제2 훈련 LSTM 레이어에 상기 특정 공간의 직전 공간에 대응하는 순방향 데이터 셋 및 직후 공간에 대응하는 역방향 데이터 셋을 각각 입력함으로써 상기 특정 공간에 대한 순방향 예측 데이터 및 역방향 예측 데이터를 추출할 수 있다.The processor is configured to input a forward data set corresponding to the immediately preceding space of the specific space and a backward data set corresponding to the immediately preceding space to the generated first training LSTM layer and the second training LSTM layer, respectively, to make forward prediction for the specific space. Data and backward prediction data can be extracted.
상기 프로세서는 상기 N 개의 순방향 데이터들 셋들에 대한 제1 상관 계수 및 상기 N 개의 역방향 데이터 셋들에 대한 제2 상관 계수를 이용하여 가중치를 계산하고, 상기 계산된 가중치를 상기 순방향 예측 데이터 및 역방향 예측 데이터에 적용함으로써 상기 특정 공간에 대한 손실 데이터를 복구할 수 있다.The processor calculates a weight by using a first correlation coefficient with respect to the N forward data sets and a second correlation coefficient with respect to the N backward data sets, and applies the calculated weight to the forward prediction data and the backward prediction data. By applying to , it is possible to recover lost data for the specific space.
상기 가중치는 상기 제1 상관 계수 및 제2 상관 계수의 비율을 통해 계산될 수 있다.The weight may be calculated through a ratio of the first correlation coefficient and the second correlation coefficient.
상기 프로세서는 평균 제곱 오차(mean squared error, MSE)에 대응하는 손실함수를 이용하여 상기 개별 LSTM 레이어들 각각의 파라미터를 업데이트 할 수 있다.The processor may update a parameter of each of the individual LSTM layers using a loss function corresponding to a mean squared error (MSE).
본 발명은 학습된 LSTM 레이어의 파라미터를 다음 레이어로 전이하여 초기 파라미터 값을 기존에 학습된 데이터의 파라미터로 사용함으로써 전체 데이터를 학습하는데 요구되는 계산량을 감소시킬 수 있다.According to the present invention, the amount of computation required to learn the entire data can be reduced by transferring the parameters of the learned LSTM layer to the next layer and using the initial parameter values as parameters of the previously learned data.
도 1은 본 발명의 일실시예에 따른 V2I 네트워크의 구조를 도시한 도면이다.
도 2는 본 발명의 일실시예에 따른 RSU 장애 시나리오 및 데이터 복구의 예를 도시한 도면이다.
도 3은 본 발명의 일실시예에 따른 파라미터 전이 LSTM 네트워크를 이용한 손실 데이터 복구 알고리즘의 전체도를 나타낸 도면이다.
도 4는 본 발명의 일실시예에 따른 순방향 예측 데이터의 계산 방법을 나타낸 도면이다.
도 5는 본 발명의 일실시예에 따른 선형 보간 방법을 나타낸 도면이다.1 is a diagram illustrating the structure of a V2I network according to an embodiment of the present invention.
2 is a diagram illustrating an example of an RSU failure scenario and data recovery according to an embodiment of the present invention.
3 is a diagram illustrating an overall diagram of a lost data recovery algorithm using a parameter transition LSTM network according to an embodiment of the present invention.
4 is a diagram illustrating a method of calculating forward prediction data according to an embodiment of the present invention.
5 is a diagram illustrating a linear interpolation method according to an embodiment of the present invention.
이하, 본 발명의 실시예를 첨부된 도면을 참조하여 상세하게 설명한다. Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.
도 1은 본 발명의 일실시예에 따른 V2I 네트워크의 구조를 도시한 도면이다.1 is a diagram illustrating the structure of a V2I network according to an embodiment of the present invention.
도 1을 참고하면, V2I 네트워크(100)는 클라우드 서버(110), 로컬 서버(120), 주변 기지국(Road Side Unit, RSU)(130) 및 차량 단말기(On-Board Unit, OBU)(140)로 구성될 수 있다. 먼저, RSU(130)는 OBU(140)에서 수집된 교통 데이터를 로컬 서버(120)를 통해 클라우드 서버(110)에 업로드 할 수 있다. 마찬가지로 클라우드 서버(110)는 로컬 서버(120)와 RSU(130)에서 업로드된 교통 데이터를 사용하여 OBU(140)에 V2I 서비스를 제공할 수 있다. 본 발명의 V2I 네트워크(100)는 OBU(140)에서 최근 관측 한 교통 데이터의 일부를 저장할 수 있도록 로컬 서버(120)의 저장 공간이 제한적이라고 가정한다.Referring to FIG. 1 , the V2I network 100 includes a
도 1을 참고하면, 각각의 OBU(140)는 이동할 때 RSU(130)와 동적으로 연결되고, 각 RSU(130)는 로컬 서버(120)에 연결될 수 있다. 로 표시된 RSU(K는 RSU의 인덱스 세트)(131)에는 인접한 RSU들()이 존재할 수 있다. RSU(131)는 특정 방향으로 이동하는 OBU(140)들의 교통 데이터를 수집할 수 있는데, 이때 수집된 교통 데이터는 로 표시될 수 있으며, OBU(140)들의 평균 교통 속도를 나타낼 수 있다. 이때, 는 시간 t에서의 속도 데이터이고, L은 데이터 길이를 나타낸다. 인접한 RSU들은 고정된 거리에 배치되기 때문에 RSU(131)를 포함하여 인접한 RSU들을 통해 수집된 교통 데이터들()은 시간 및 공간적으로 상관 관계가 있을 수 있다.Referring to FIG. 1 , each OBU 140 may be dynamically connected to an RSU 130 when moving, and each RSU 130 may be connected to a
도 2는 본 발명의 일실시예에 따른 RSU 장애 시나리오 및 데이터 복구의 예를 도시한 도면이다.2 is a diagram illustrating an example of an RSU failure scenario and data recovery according to an embodiment of the present invention.
도 2의 (a)를 참고하면, RSU(131)에 일시적으로 장애가 발생하여 로컬 서버(120)가 장애가 발생한 RSU(131)에서 수집된 OBU(140)들의 교통 데이터를 클라우드 서버(110)에 제공할 수 없는 시나리오를 고려할 수 있다. RSU(131)에서 누락된 교통 데이터는 본 발명에서 제공하는 손실 데이터 복구 방법을 통해 복구될 수 있다. 이러한 손실 데이터 복구 방법은 로컬 서버(120)에 의해 수행될 수 있다.Referring to (a) of FIG. 2 , the RSU 131 temporarily fails, and the
먼저, 를 장애가 발생한 RSU(131)의 손실된 교통 데이터라고 가정하자. RSU(130)들 각각에서 수집된 교통 데이터는 시간적, 공간적으로 상관 관계가 있으므로, RSU(131)에서 손실된 교통 데이터 는 인접한 RSU들의 교통 데이터를 사용하여 복구될 수 있다.first, Assume that is lost traffic data of the faulty RSU 131 . Since the traffic data collected from each of the
이를 위해 로컬 서버(120)는 도 2의 (b)와 같이 장애가 발생한 RSU(131)의 전후에 위치한 2N 개의 인접 RSU들에서 수집된 교통 데이터를 이용하여 RSU(131)의 교통 데이터 를 복구할 수 있다. To this end, the
함수 및 각각은 일반적인 LSTM 네트워크를 이용한 손실 데이터 복구 알고리즘 및 본 발명에서 제공하는 파라미터 전이 LSTM 네트워크를 이용한 손실 데이터 복구 알고리즘을 나타낸다. 해당 손실 데이터 복구 알고리즘들을 통해 복구된 교통 데이터 및 는 아래의 식 1과 같이 표현될 수 있다. function and Each represents a lost data recovery algorithm using a general LSTM network and a lost data recovery algorithm using a parameter transition LSTM network provided in the present invention. Traffic data recovered through the corresponding lost data recovery algorithms and can be expressed as
<식 1><
본 발명에서 제공하는 파라미터 전이 LSTM 네트워크를 이용한 손실 데이터 복구 알고리즘은 일반적인 LSTM 네트워크를 이용한 손실 데이터 복구 알고리즘에 비해 성능 편차는 적으면서 손실 데이터 복구에 대한 학습 및 대치 시간을 줄이는 방법을 제공할 수 있다. 이때, 성능 측정 파라미터 와 최대 성능 편차 파라미터 가 주어지면 본 발명의 파라미터 전이 LSTM 네트워크를 이용한 손실 데이터 복구 알고리즘은 아래의 식 2와 같은 제약 조건을 이용함으로써 복구된 교통 데이터 를 계산하는 데 필요한 훈련 및 복구 시간 T를 줄일 수 있다.The loss data recovery algorithm using the parameter transfer LSTM network provided in the present invention can provide a method of reducing the learning and replacement time for the loss data recovery with less performance deviation compared to the loss data recovery algorithm using the general LSTM network. At this time, the performance measurement parameter and maximum performance deviation parameters Given that , the lost data recovery algorithm using the parameter transfer LSTM network of the present invention recovers traffic data by using the constraint as in
<식 2><
본 발명에서는 성능 측정 파라미터 로 아래의 식 3과 같이 평균 제곱근 편자(Root Mean Square Error, RMSE)를 사용할 수 있다. In the present invention, the performance measurement parameter As shown in Equation 3 below, Root Mean Square Error (RMSE) can be used.
<식 3><Equation 3>
따라서 본 발명의 로컬 서버(120)는 파라미터 전이 LSTM 네트워크를 이용한 손실 데이터 복구 알고리즘을 이용하여 장애가 발생한 RSU(131) 구간의 교통 데이터를 보다 안정적이고 효율적으로 클라우드 서버(110)로 제공할 수 있다.Therefore, the
도 3은 본 발명의 일실시예에 따른 파라미터 전이 LSTM 네트워크를 이용한 손실 데이터 복구 알고리즘의 전체도를 나타낸 도면이다.3 is a diagram illustrating an overall diagram of a lost data recovery algorithm using a parameter transition LSTM network according to an embodiment of the present invention.
도 3을 참고하면, 본 발명의 파라미터 전이 LSTM 네트워크를 이용한 손실 데이터 복구 알고리즘은 장애가 발생한 RSU(131)에 인접한 RSU들에서 수신된 2N 개의 데이터 셋들을 이용하여 RSU(131)에 대응하여 누락된 데이터 셋 를 복구하는 방법을 제공할 수 있다. Referring to FIG. 3 , the lost data recovery algorithm using the parameter transfer LSTM network of the present invention uses 2N data sets received from RSUs adjacent to the failed
먼저, 로컬 서버(120)는 장애가 발생한 RSU(131)의 전후에 위치한 2N 개의 인접 RSU들에서 수집된 교통 데이터들 중 RSU(131)의 전에 위치한 N 개의 인접 RSU들에서 수집된 교통 데이터, 즉 순방향 데이터 셋들을 이용하여 파라미터 전이 LSTM 네트워크를 학습함으로써 RSU(131)에 대응하는 순방향 예측 데이터를 계산할 수 있다. First, the
그리고, 로컬 서버(120)는 장애가 발생한 RSU(131)의 전후에 위치한 2N 개의 인접 RSU들에서 수집된 교통 데이터들 중 RSU(131)의 후에 위치한 N 개의 인접 RSU들에서 수집된 교통 데이터, 즉 역방향 데이터 셋들을 이용하여 파라미터 전이 LSTM 네트워크를 학습함으로써 RSU(131)에 대응하는 역방향 예측 데이터를 계산할 수 있다. Then, the
이후 로컬 서버(120)는 계산된 순방향 예측 데이터 및 역방향 예측 데이터를 이용하여 선형 보간(Linear Interpolation)을 수행함으로써 RSU(131)에 대응하는 교통 데이터 를 복구할 수 있다.Thereafter, the
보다 자세한 예측 데이터 계산 방법 및 손실 데이터 복구 방법은 아래의 후속하는 도면을 통해 자세히 설명하도록 한다.A more detailed prediction data calculation method and a lost data recovery method will be described in detail with reference to the following drawings.
도 4는 본 발명의 일실시예에 따른 순방향 예측 데이터의 계산 방법을 나타낸 도면이다.4 is a diagram illustrating a method of calculating forward prediction data according to an embodiment of the present invention.
본 발명에서 제공하는 파라미터 전이 LSTM 네트워크를 이용한 손실 데이터 복구 알고리즘은 연속하는 N 개의 LSTM 레이어를 기반으로 수행되며, 각각의 LSTM 레이어에서 학습된 파라미터는 다음 LSTM 레이어로 전이될 수 있다. 그리고, 각각의 LSTM 레이어는 공간 도메인에서 후속하는 RSU에 대한 교통 데이터를 예측할 수 있다. The loss data recovery algorithm using the parameter transition LSTM network provided in the present invention is performed based on N consecutive LSTM layers, and parameters learned in each LSTM layer may be transferred to the next LSTM layer. In addition, each LSTM layer may predict traffic data for a subsequent RSU in the spatial domain.
일례로, 로컬 서버(120)는 l 번째 LSTM 레이어에서 순방향 예측 데이터 를 계산하기 위하여 입력 데이터로 를 사용할 수 있다. 이때, , , , 및를 각각 시간 t에서 잊혀진 게이트, 입력 게이트, 셀 상태, 출력 게이트, 순방향 예측 데이터를 계산하기 위한 l 번째 LSTM 레이어의 은닉 상태의 변수로 가정하자. 이때, 도 6을 참고하면, 잊혀진 게이트()는 이전 단계의 셀 상태(Sell state) 값을 얼마나 이용할지 또는 버릴지를 결정하는 파라미터이고, 입력 게이트()는 입력 값 에서 tanh를 태워 나온 새로운 특징(Feature)를 얼마나 반영할지를 결정하는 파라미터이다. 그리고, 셀 상태()는 기억을 오랫동안 유지하기 위하여 사용되는 파라미터로 기존 특징에 새로운 특징을 계속 추가하는 방식으로 사용될 수 있다. 출력 게이트()는 현재 단계의 출력을 이후 단계로 보낼 때 얼마나 반영할지를 결정하는 파라미터이고, 은닉 상태()는 현재 단계의 출력이고, 다음 시간 단계로 넘기는 정보로서 다음 단계로 보낼 때 얼마나 반영할지를 결정하는 파라미터이다.As an example, the
이를 식으로 나타내면 아래의 식 4와 같을 수 있다.This can be expressed as Equation 4 below.
<식 4><Equation 4>
여기서 는 아다마르 곱(Hadamard product), , , 및 는 게이트의 가중치 행렬, , 및 는 바이어스 벡터 파라미터, 는 시그모이드(Sigmoid) 함수를 나타낸다. 이때, 각 LSTM 레이어에서 평균 제곱 오차(MSE)는 손실 함수로 사용되며 다음의 식 5와 같이 표현될 수 있다.here is the Hadamard product, , , and is the weight matrix of the gate, , and is the bias vector parameter, denotes a sigmoid function. In this case, the mean square error (MSE) in each LSTM layer is used as a loss function and can be expressed as Equation 5 below.
<식 5><Equation 5>
여기서 는 시간 t에서 l 번째 LSTM 레이어의 순방향 예측 데이터를 나타낸다. 이와 같은 LSTM 레이어의 학습 절차는 l 번째 역방향 LSTM 레이어에서 입력 데이터 를 이용하여 역방향 예측 데이터 을 계산하는 방법과 동일할 수 있다.here denotes forward prediction data of the l -th LSTM layer at time t. The training procedure of such an LSTM layer is based on the input data in the l -th reverse LSTM layer. Reverse prediction data using may be the same as the method of calculating .
그리고, l 번째 LSTM 레이어를 통해 학습된 LSTM 네트워크의 파라미터는 가중치 행렬, 셀 상태 및 은닉 상태가 다음의 식 6과 같이 다음 LSTM 레이어로 전이될 수 있다. And, as for the parameters of the LSTM network learned through the l -th LSTM layer, the weight matrix, cell state, and hidden state may be transferred to the next LSTM layer as shown in Equation 6 below.
<식 6><Equation 6>
이와 같이 l 번째 LSTM 레이어에서 학습된 파라미터는 l + 1 번째 LSTM 레이어로 전이되어 학습을 위한 초기 파라미터로 사용될 수 있다. 이와 같은 프로세스는 도 4와 같이 N-1 번째 LSTM 레이어까지 반복될 수 있으며, 마지막으로 학습된 N 번째 LSTM 레이어를 이용하여 장애가 발생한 RSU(131)의 순방향 예측 데이터를 계산할 수 있다.In this way, the parameters learned in the l -th LSTM layer may be transferred to the l +1 LSTM layer and used as initial parameters for learning. This process may be repeated up to the N-1 th LSTM layer as shown in FIG. 4 , and forward prediction data of the
이와 같이 본 발명의 파라미터 전이 LSTM 네트워크를 이용한 손실 데이터 복구 알고리즘은 LSTM 레이어의 파라미터를 효율적으로 초기화 할 수 있으므로 시공간 교통 데이터의 일반적인 패턴을 특성화 하는 반복을 생략하여 계산 복잡성을 크게 줄일 수 있다.As described above, since the loss data recovery algorithm using the parameter transfer LSTM network of the present invention can efficiently initialize the parameters of the LSTM layer, it is possible to greatly reduce the computational complexity by omitting repetition of characterizing general patterns of spatiotemporal traffic data.
도 5는 본 발명의 일실시예에 따른 선형 보간 방법을 나타낸 도면이다.5 is a diagram illustrating a linear interpolation method according to an embodiment of the present invention.
도 5를 참고하면, 본 발명의 파라미터 전이 LSTM 네트워크를 이용한 손실 데이터 복구 알고리즘을 통해 각각 계산된 순방향 예측 데이터 및 역방향 예측 데이터 가 주어지면, 로컬 서버(120)는 효율적인 손실 데이터 복구를 위한 공간 상관을 이용하여 두 예측 데이터 및 간의 선형 보간을 수행할 수 있다. 그리고, 로컬 서버(120)는 이와 같은 선형 보간을 통해 장애가 발생한 RSU(131)의 손실된 교통 데이터 를 로 복구할 수 있다.Referring to FIG. 5 , forward prediction data respectively calculated through a loss data recovery algorithm using a parameter transfer LSTM network of the present invention and backward prediction data Given , the
이를 위해 로컬 서버(120)는 와 를 아래의 식 7과 같이 순방향 예측 데이터 셋 및 역방향 예측 데이터 셋의 평균 공간 상관 계수로 지정할 수 있다. To this end, the
<식 7><Equation 7>
여기서 이고, 이다. here ego, am.
이후 로컬 서버(120)는 아래의 식 8을 통한 및 의 선형 보간을 통해 복구된 교통 데이터 를 획득할 수 있다.Afterwards, the
<식 8><Equation 8>
이때, 로컬 서버(120)는 평균 공간 상관 계수 및 에 의해 계산된 가중치 을 사용하여 교통 데이터 를 복구할 수 있다.At this time, the
한편, 본 발명에 따른 방법은 컴퓨터에서 실행될 수 있는 프로그램으로 작성되어 마그네틱 저장매체, 광학적 판독매체, 디지털 저장매체 등 다양한 기록 매체로도 구현될 수 있다.Meanwhile, the method according to the present invention is written as a program that can be executed on a computer and can be implemented in various recording media such as magnetic storage media, optical reading media, and digital storage media.
본 명세서에 설명된 각종 기술들의 구현들은 디지털 전자 회로조직으로, 또는 컴퓨터 하드웨어, 펌웨어, 소프트웨어로, 또는 그들의 조합들로 구현될 수 있다. 구현들은 데이터 처리 장치, 예를 들어 프로그램가능 프로세서, 컴퓨터, 또는 다수의 컴퓨터들의 동작에 의한 처리를 위해, 또는 이 동작을 제어하기 위해, 컴퓨터 프로그램 제품, 즉 정보 캐리어, 예를 들어 기계 판독가능 저장 장치(컴퓨터 판독가능 매체) 또는 전파 신호에서 유형적으로 구체화된 컴퓨터 프로그램으로서 구현될 수 있다. 상술한 컴퓨터 프로그램(들)과 같은 컴퓨터 프로그램은 컴파일된 또는 인터프리트된 언어들을 포함하는 임의의 형태의 프로그래밍 언어로 기록될 수 있고, 독립형 프로그램으로서 또는 모듈, 구성요소, 서브루틴, 또는 컴퓨팅 환경에서의 사용에 적절한 다른 유닛으로서 포함하는 임의의 형태로 전개될 수 있다. 컴퓨터 프로그램은 하나의 사이트에서 하나의 컴퓨터 또는 다수의 컴퓨터들 상에서 처리되도록 또는 다수의 사이트들에 걸쳐 분배되고 통신 네트워크에 의해 상호 연결되도록 전개될 수 있다.Implementations of the various techniques described herein may be implemented in digital electronic circuitry, or in computer hardware, firmware, software, or combinations thereof. Implementations may be implemented for processing by, or controlling the operation of, a data processing device, eg, a programmable processor, computer, or number of computers, a computer program product, ie an information carrier, eg, a machine readable storage It may be embodied as a computer program tangibly embodied in an apparatus (computer readable medium) or a radio signal. A computer program, such as the computer program(s) described above, may be written in any form of programming language, including compiled or interpreted languages, as a standalone program or in a module, component, subroutine, or computing environment. It can be deployed in any form including as other units suitable for use. A computer program may be deployed to be processed on one computer or multiple computers at one site or to be distributed across multiple sites and interconnected by a communications network.
컴퓨터 프로그램의 처리에 적절한 프로세서들은 예로서, 범용 및 특수 목적 마이크로프로세서들 둘 다, 및 임의의 종류의 디지털 컴퓨터의 임의의 하나 이상의 프로세서들을 포함한다. 일반적으로, 프로세서는 판독 전용 메모리 또는 랜덤 액세스 메모리 또는 둘 다로부터 명령어들 및 데이터를 수신할 것이다. 컴퓨터의 요소들은 명령어들을 실행하는 적어도 하나의 프로세서 및 명령어들 및 데이터를 저장하는 하나 이상의 메모리 장치들을 포함할 수 있다. 일반적으로, 컴퓨터는 데이터를 저장하는 하나 이상의 대량 저장 장치들, 예를 들어 자기, 자기-광 디스크들, 또는 광 디스크들을 포함할 수 있거나, 이것들로부터 데이터를 수신하거나 이것들에 데이터를 송신하거나 또는 양쪽으로 되도록 결합될 수도 있다. 컴퓨터 프로그램 명령어들 및 데이터를 구체화하는데 적절한 정보 캐리어들은 예로서 반도체 메모리 장치들, 예를 들어, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(Magnetic Media), CD-ROM(Compact Disk Read Only Memory), DVD(Digital Video Disk)와 같은 광 기록 매체(Optical Media), 플롭티컬 디스크(Floptical Disk)와 같은 자기-광 매체(Magneto-Optical Media), 롬(ROM, Read Only Memory), 램(RAM, Random Access Memory), 플래시 메모리, EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM) 등을 포함한다. 프로세서 및 메모리는 특수 목적 논리 회로조직에 의해 보충되거나, 이에 포함될 수 있다.Processors suitable for processing a computer program include, by way of example, both general and special purpose microprocessors, and any one or more processors of any kind of digital computer. In general, a processor will receive instructions and data from either read-only memory or random access memory or both. Elements of a computer may include at least one processor that executes instructions and one or more memory devices that store instructions and data. In general, a computer may include, receive data from, transmit data to, or both, one or more mass storage devices for storing data, for example magnetic, magneto-optical disks, or optical disks. may be combined to become Information carriers suitable for embodying computer program instructions and data are, for example, semiconductor memory devices, for example, magnetic media such as hard disks, floppy disks and magnetic tapes, Compact Disk Read Only Memory (CD-ROM). ), optical recording media such as DVD (Digital Video Disk), magneto-optical media such as optical disk, ROM (Read Only Memory), RAM (RAM) , Random Access Memory), flash memory, EPROM (Erasable Programmable ROM), EEPROM (Electrically Erasable Programmable ROM), and the like. Processors and memories may be supplemented by, or included in, special purpose logic circuitry.
또한, 컴퓨터 판독가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용매체일 수 있고, 컴퓨터 저장매체 및 전송매체를 모두 포함할 수 있다.In addition, the computer-readable medium may be any available medium that can be accessed by a computer, and may include both computer storage media and transmission media.
본 명세서는 다수의 특정한 구현물의 세부사항들을 포함하지만, 이들은 어떠한 발명이나 청구 가능한 것의 범위에 대해서도 제한적인 것으로서 이해되어서는 안되며, 오히려 특정한 발명의 특정한 실시형태에 특유할 수 있는 특징들에 대한 설명으로서 이해되어야 한다. 개별적인 실시형태의 문맥에서 본 명세서에 기술된 특정한 특징들은 단일 실시형태에서 조합하여 구현될 수도 있다. 반대로, 단일 실시형태의 문맥에서 기술한 다양한 특징들 역시 개별적으로 혹은 어떠한 적절한 하위 조합으로도 복수의 실시형태에서 구현 가능하다. 나아가, 특징들이 특정한 조합으로 동작하고 초기에 그와 같이 청구된 바와 같이 묘사될 수 있지만, 청구된 조합으로부터의 하나 이상의 특징들은 일부 경우에 그 조합으로부터 배제될 수 있으며, 그 청구된 조합은 하위 조합이나 하위 조합의 변형물로 변경될 수 있다.While this specification contains numerous specific implementation details, they should not be construed as limitations on the scope of any invention or claim, but rather as descriptions of features that may be specific to particular embodiments of particular inventions. should be understood Certain features that are described herein in the context of separate embodiments may be implemented in combination in a single embodiment. Conversely, various features that are described in the context of a single embodiment may also be implemented in multiple embodiments, either individually or in any suitable subcombination. Furthermore, although features operate in a particular combination and may be initially depicted as claimed as such, one or more features from a claimed combination may in some cases be excluded from the combination, the claimed combination being a sub-combination. or a variant of a sub-combination.
마찬가지로, 특정한 순서로 도면에서 동작들을 묘사하고 있지만, 이는 바람직한 결과를 얻기 위하여 도시된 그 특정한 순서나 순차적인 순서대로 그러한 동작들을 수행하여야 한다거나 모든 도시된 동작들이 수행되어야 하는 것으로 이해되어서는 안 된다. 특정한 경우, 멀티태스킹과 병렬 프로세싱이 유리할 수 있다. 또한, 상술한 실시형태의 다양한 장치 컴포넌트의 분리는 그러한 분리를 모든 실시형태에서 요구하는 것으로 이해되어서는 안되며, 설명한 프로그램 컴포넌트와 장치들은 일반적으로 단일의 소프트웨어 제품으로 함께 통합되거나 다중 소프트웨어 제품에 패키징 될 수 있다는 점을 이해하여야 한다.Likewise, although acts are depicted in the drawings in a particular order, it should not be construed that all acts shown must be performed or that such acts must be performed in the specific order or sequential order shown to obtain desirable results. In certain cases, multitasking and parallel processing may be advantageous. Further, the separation of the various device components of the above-described embodiments should not be construed as requiring such separation in all embodiments, and the program components and devices described may generally be integrated together into a single software product or packaged into multiple software products. You have to understand that you can.
한편, 본 명세서와 도면에 개시된 본 발명의 실시 예들은 이해를 돕기 위해 특정 예를 제시한 것에 지나지 않으며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시 예들 이외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 자명한 것이다.On the other hand, the embodiments of the present invention disclosed in the present specification and drawings are merely presented as specific examples to aid understanding, and are not intended to limit the scope of the present invention. It will be apparent to those of ordinary skill in the art to which the present invention pertains that other modifications based on the technical spirit of the present invention can be implemented in addition to the embodiments disclosed herein.
100 : V2I 네트워크
110 : 클라우드 서버
120 : 로컬 서버
130 : 주변 기지국(RSU)
131 : 장애가 발생한 RSU
140 : 차량 단말기(OBU)100: V2I network
110: cloud server
120 : local server
130: peripheral base station (RSU)
131: Failed RSU
140: vehicle terminal (OBU)
Claims (14)
특정 공간의 손실 데이터에 대한 이전 공간 및 이후 공간에 대응하는 N 개의 순방향 데이터 셋들 및 N 개의 역방향 데이터 셋들을 수신하는 단계;
상기 N 개의 순방향 데이터 셋들 및 N 개의 역방향 데이터 셋들을 이용하여 공간 순서에 따라 배치된 개별 LSTM(Long Short-Term Memory) 레이어들을 학습함으로써 상기 N 개의 순방향 데이터 셋들에 대한 제1 훈련 LSTM 레이어 및 상기 N 개의 역방향 데이터 셋들에 대한 제2 훈련 LSTM 레이어를 생성하는 단계;
상기 생성된 제1 훈련 LSTM 레이어 및 제2 훈련 LSTM 레이어를 이용하여 상기 특정 공간에 대한 순방향 예측 데이터 및 역방향 예측 데이터를 각각 추출하는 단계; 및
상기 순방향 예측 데이터 및 역방향 예측 데이터의 상관도에 기초하여 상기 특정 공간에 대한 손실 데이터를 복구하는 단계
를 포함하는 손실 데이터 복구 방법.A method for recovering lost data, comprising:
receiving N forward data sets and N backward data sets corresponding to a space before and after space for loss data in a specific space;
A first training LSTM layer for the N forward data sets and the N by learning individual Long Short-Term Memory (LSTM) layers arranged in spatial order using the N forward data sets and the N backward data sets. generating a second training LSTM layer for the backward data sets;
extracting forward prediction data and backward prediction data for the specific space using the generated first training LSTM layer and the second training LSTM layer, respectively; and
Recovering lost data for the specific space based on the correlation between the forward prediction data and the backward prediction data
How to recover lost data that includes.
상기 생성하는 단계는,
시계열 데이터로 구성된 상기 N 개의 순방향 데이터 셋들 중 첫번째 순방향 데이터 셋을 이용하여 제1 LSTM 레이어를 시간에 따라 학습하는 단계; 및
상기 첫번째 순방향 데이터 셋 이후의 순방향 데이터 셋들 각각에 대해 이전 LSTM 레이어를 통해 학습된 파라미터를 적용하여 해당 순방향 데이터 셋들 각각에 대응하는 제2 LSTM 레이어들을 차례대로 학습함으로써 상기 순방향 데이터 셋들에 대한 제1 훈련 LSTM 레이어를 생성하는 단계
를 포함하는 손실 데이터 복구 방법.According to claim 1,
The generating step is
learning a first LSTM layer over time using a first forward data set among the N forward data sets composed of time series data; and
First training on the forward data sets by sequentially learning the second LSTM layers corresponding to each of the forward data sets by applying the parameters learned through the previous LSTM layer to each of the forward data sets after the first forward data set Steps to create an LSTM layer
A method of recovering lost data that includes.
상기 생성하는 단계는,
시계열 데이터로 구성된 상기 N 개의 역방향 데이터 셋들 중 첫번째 역방향 데이터 셋을 이용하여 제3 LSTM 레이어를 시간에 따라 학습하는 단계; 및
상기 첫번째 역방향 데이터 셋 이후의 역방향 데이터 셋들 각각에 대해 이전 LSTM 레이어를 통해 학습된 파라미터를 적용하여 해당 역방향 데이터 셋들 각각에 대응하는 제4 LSTM 레이어들을 차례대로 학습함으로써 상기 역방향 데이터 셋들에 대한 제2 훈련 LSTM 레이어를 생성하는 단계
를 포함하는 손실 데이터 복구 방법.According to claim 1,
The generating step is
learning a third LSTM layer over time using a first backward data set among the N backward data sets composed of time series data; and
Second training on the reverse data sets by sequentially learning the fourth LSTM layers corresponding to each of the reverse data sets by applying the parameters learned through the previous LSTM layer to each of the reverse data sets after the first reverse data set Steps to create an LSTM layer
A method of recovering lost data that includes.
상기 추출하는 단계는,
상기 생성된 제1 훈련 LSTM 레이어 및 제2 훈련 LSTM 레이어에 상기 특정 공간의 직전 공간에 대응하는 순방향 데이터 셋 및 직후 공간에 대응하는 역방향 데이터 셋을 각각 입력함으로써 상기 특정 공간에 대한 순방향 예측 데이터 및 역방향 예측 데이터를 추출하는 손실 데이터 복구 방법.According to claim 1,
The extracting step is
Forward prediction data and reverse direction for the specific space by respectively inputting a forward data set corresponding to the immediately preceding space of the specific space and a backward data set corresponding to the immediately following space to the generated first training LSTM layer and the second training LSTM layer Loss data recovery method that extracts predictive data.
상기 복구하는 단계는,
상기 N 개의 순방향 데이터 셋들에 대한 제1 상관 계수 및 상기 N 개의 역방향 데이터 셋들에 대한 제2 상관 계수를 이용하여 가중치를 계산하는 단계; 및
상기 계산된 가중치를 상기 순방향 예측 데이터 및 역방향 예측 데이터에 적용함으로써 상기 특정 공간에 대한 손실 데이터를 복구하는 단계
를 포함하는 손실 데이터 복구 방법.According to claim 1,
The recovery step is
calculating a weight using a first correlation coefficient for the N forward data sets and a second correlation coefficient for the N backward data sets; and
Recovering lost data for the specific space by applying the calculated weight to the forward prediction data and the backward prediction data
A method of recovering lost data that includes.
상기 가중치는,
상기 제1 상관 계수 및 제2 상관 계수의 비율을 통해 계산되는 손실 데이터 복구 방법.6. The method of claim 5,
The weight is
Loss data recovery method calculated through the ratio of the first correlation coefficient and the second correlation coefficient.
상기 생성하는 단계는,
평균 제곱 오차(mean squared error, MSE)에 대응하는 손실함수를 이용하여 상기 개별 LSTM 레이어들 각각의 파라미터를 업데이트 하는 손실 데이터 복구 방법.According to claim 1,
The generating step is
A loss data recovery method for updating each parameter of the individual LSTM layers using a loss function corresponding to a mean squared error (MSE).
프로세서를 포함하고,
상기 프로세서는,
특정 공간의 손실 데이터에 대한 이전 공간 및 이후 공간에 대응하는 N 개의 순방향 데이터 셋들 및 N 개의 역방향 데이터 셋들을 수신하고,
상기 N 개의 순방향 데이터 셋들 및 N 개의 역방향 데이터 셋들을 이용하여 공간 순서에 따라 배치된 개별 LSTM(Long Short-Term Memory) 레이어들을 학습함으로써 상기 N 개의 순방향 데이터 셋들에 대한 제1 훈련 LSTM 레이어 및 상기 N 개의 역방향 데이터 셋들에 대한 제2 훈련 LSTM 레이어를 생성하며,
상기 생성된 제1 훈련 LSTM 레이어 및 제2 훈련 LSTM 레이어를 이용하여 상기 특정 공간에 대한 순방향 예측 데이터 및 역방향 예측 데이터를 각각 추출하고,
상기 순방향 예측 데이터 및 역방향 예측 데이터의 상관도에 기초하여 결정된 결측 값을 상기 특정 공간에 대한 손실 데이터를 복구하는 손실 데이터 복구 장치. A lost data recovery device comprising:
including a processor;
The processor is
Receive N forward data sets and N backward data sets corresponding to a space before and after space for loss data in a specific space,
A first training LSTM layer for the N forward data sets and the N by learning individual Long Short-Term Memory (LSTM) layers arranged in spatial order using the N forward data sets and the N backward data sets. Create a second training LSTM layer for the backward data sets of
Extracting forward prediction data and backward prediction data for the specific space using the generated first training LSTM layer and second training LSTM layer, respectively,
Loss data recovery apparatus for recovering lost data for the specific space with a missing value determined based on the correlation between the forward prediction data and the backward prediction data.
상기 프로세서는,
시계열 데이터로 구성된 상기 N 개의 순방향 데이터 셋들 중 첫번째 순방향 데이터 셋을 이용하여 제1 LSTM 레이어를 시간에 따라 학습하고, 상기 첫번째 순방향 데이터 셋 이후의 순방향 데이터 셋들 각각에 대해 이전 LSTM 레이어를 통해 학습된 파라미터를 적용하여 해당 순방향 데이터 셋들 각각에 대응하는 제2 LSTM 레이어들을 차례대로 학습함으로써 상기 순방향 데이터 셋들에 대한 제1 훈련 LSTM 레이어를 생성하는 손실 데이터 복구 장치.9. The method of claim 8,
The processor is
The first LSTM layer is learned over time using the first forward data set among the N forward data sets composed of time series data, and the parameters learned through the previous LSTM layer for each of the forward data sets after the first forward data set Loss data recovery apparatus for generating a first training LSTM layer for the forward data sets by sequentially learning the second LSTM layers corresponding to each of the forward data sets by applying .
상기 프로세서는,
시계열 데이터로 구성된 상기 N 개의 역방향 데이터 셋들 중 첫번째 역방향 데이터 셋을 이용하여 제3 LSTM 레이어를 시간에 따라 학습하고, 상기 첫번째 역방향 데이터 셋 이후의 역방향 데이터 셋들 각각에 대해 이전 LSTM 레이어를 통해 학습된 파라미터를 적용하여 해당 역방향 데이터 셋들 각각에 대응하는 제4 LSTM 레이어들을 차례대로 학습함으로써 상기 역방향 데이터 셋들에 대한 제2 훈련 LSTM 레이어를 생성하는 손실 데이터 복구 장치.9. The method of claim 8,
The processor is
The third LSTM layer is learned over time by using the first backward data set among the N backward data sets composed of time series data, and the parameters learned through the previous LSTM layer for each of the backward data sets after the first backward data set A loss data recovery apparatus for generating a second training LSTM layer for the reverse data sets by sequentially learning the fourth LSTM layers corresponding to each of the reverse data sets by applying .
상기 프로세서는,
상기 생성된 제1 훈련 LSTM 레이어 및 제2 훈련 LSTM 레이어에 상기 특정 공간의 직전 공간에 대응하는 순방향 데이터 셋 및 직후 공간에 대응하는 역방향 데이터 셋을 각각 입력함으로써 상기 특정 공간에 대한 순방향 예측 데이터 및 역방향 예측 데이터를 추출하는 손실 데이터 복구 장치.9. The method of claim 8,
The processor is
Forward prediction data and reverse direction for the specific space by respectively inputting a forward data set corresponding to the immediately preceding space of the specific space and a backward data set corresponding to the immediately following space to the generated first training LSTM layer and the second training LSTM layer Loss data recovery device that extracts predictive data.
상기 프로세서는,
상기 N 개의 순방향 데이터 셋들에 대한 제1 상관 계수 및 상기 N 개의 역방향 데이터 셋들에 대한 제2 상관 계수를 이용하여 가중치를 계산하고, 상기 계산된 가중치를 상기 순방향 예측 데이터 및 역방향 예측 데이터에 적용함으로써 상기 특정 공간에 대한 손실 데이터를 복구하는 손실 데이터 복구 장치.9. The method of claim 8,
The processor is
By calculating a weight using the first correlation coefficient for the N forward data sets and the second correlation coefficient for the N backward data sets, and applying the calculated weight to the forward prediction data and the backward prediction data, the Lost data recovery device to recover lost data for a specific space.
상기 가중치는,
상기 제1 상관 계수 및 제2 상관 계수의 비율을 통해 계산되는 손실 데이터 복구 장치.13. The method of claim 12,
The weight is
Loss data recovery apparatus calculated through the ratio of the first correlation coefficient and the second correlation coefficient.
상기 프로세서는,
평균 제곱 오차(mean squared error, MSE)에 대응하는 손실함수를 이용하여 상기 개별 LSTM 레이어들 각각의 파라미터를 업데이트 하는 손실 데이터 복구 장치.
9. The method of claim 8,
The processor is
A loss data recovery apparatus for updating each parameter of the individual LSTM layers by using a loss function corresponding to a mean squared error (MSE).
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020200152145A KR102377474B1 (en) | 2020-11-13 | 2020-11-13 | Lost data recovery method and apparatus using parameter transfer lstm |
PCT/KR2021/014824 WO2022103012A1 (en) | 2020-11-13 | 2021-10-21 | Method and device for recovering missing data by using parameter transfer lstm |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020200152145A KR102377474B1 (en) | 2020-11-13 | 2020-11-13 | Lost data recovery method and apparatus using parameter transfer lstm |
Publications (1)
Publication Number | Publication Date |
---|---|
KR102377474B1 true KR102377474B1 (en) | 2022-03-23 |
Family
ID=80963338
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020200152145A KR102377474B1 (en) | 2020-11-13 | 2020-11-13 | Lost data recovery method and apparatus using parameter transfer lstm |
Country Status (2)
Country | Link |
---|---|
KR (1) | KR102377474B1 (en) |
WO (1) | WO2022103012A1 (en) |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20200052806A (en) * | 2018-10-25 | 2020-05-15 | 광주과학기술원 | Operating method of deep learning based climate change prediction system |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2002033982A2 (en) * | 2000-10-17 | 2002-04-25 | Denso Corporation | Forward link based rescue channel method and apparatus for telecommunication systems |
KR101608623B1 (en) * | 2015-06-29 | 2016-04-01 | 한양대학교 산학협력단 | Apparatus and method for memory recovery to effective data recovery after power loss |
US10447430B2 (en) * | 2016-08-01 | 2019-10-15 | Sony Interactive Entertainment LLC | Forward error correction for streaming data |
KR20200052446A (en) * | 2018-10-30 | 2020-05-15 | 삼성에스디에스 주식회사 | Apparatus and method for training deep learning model |
-
2020
- 2020-11-13 KR KR1020200152145A patent/KR102377474B1/en active IP Right Grant
-
2021
- 2021-10-21 WO PCT/KR2021/014824 patent/WO2022103012A1/en active Application Filing
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20200052806A (en) * | 2018-10-25 | 2020-05-15 | 광주과학기술원 | Operating method of deep learning based climate change prediction system |
Non-Patent Citations (8)
Title |
---|
"A convolution recurrent autoencoder for spatio-temporal missing data imputation"" and the Reza. Asadi extrinsic 1 people https: the / / arxiv org. / pdf / 1904.12413 pdf" and 2019.04. 29 * |
"Deep Stacked Bidirectional and Unidirectional LSTM Recurrent Neural Network for Network-wide Traffic Speed Prediction"" and the Zhiyong Cui extrinsic 2 people https: the / / arxiv org. / abs / 1801.02143 v 1" and 2018.01. 07. * |
"SEQUENCE-TO-SEQUENCE IMPUTATION OF MISSING SENSOR DATA"" and the Joel Janek Dabrowski extrinsic 1 people https: the / / arxiv org. / pdf / 2002.10767 pdf" and 2020.02. 25 * |
"Stacked Bidirectional and Unidirectional LSTM Recurrent Neural Network for Forecasting Network-wide Traffice State with Missing Values"" and the Zhiyong Cui extrinsic 3 people https: the / / arxiv org. / pdf / 2005.11627 pdf" and 2020.05. 24. * |
논문1(2020.05.24) |
논문2(2018.01.07) |
논문3(2020.02.25) |
논문4(2019.04.29) |
Also Published As
Publication number | Publication date |
---|---|
WO2022103012A1 (en) | 2022-05-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11640522B2 (en) | Computational efficiency improvements for artificial neural networks | |
US11410046B2 (en) | Learning-based service migration in mobile edge computing | |
Ali et al. | A data aggregation based approach to exploit dynamic spatio-temporal correlations for citywide crowd flows prediction in fog computing | |
Wang et al. | V2vnet: Vehicle-to-vehicle communication for joint perception and prediction | |
Manias et al. | Making a case for federated learning in the internet of vehicles and intelligent transportation systems | |
CN111368888A (en) | Service function chain fault diagnosis method based on deep dynamic Bayesian network | |
CN112053327B (en) | Video target detection method and system, storage medium and server | |
CN102298569A (en) | Parallelization of online learning algorithms | |
CN113570859B (en) | Traffic flow prediction method based on asynchronous space-time expansion graph convolution network | |
CN115273464A (en) | Traffic flow prediction method based on improved space-time Transformer | |
Rahman et al. | Real-time signal queue length prediction using long short-term memory neural network | |
CN113065013B (en) | Image annotation model training and image annotation method, system, equipment and medium | |
Qi et al. | A graph and attentive multi-path convolutional network for traffic prediction | |
CN111738372A (en) | Distributed multi-agent space-time feature extraction method and behavior decision method | |
CN111709493A (en) | Object classification method, training method, device, equipment and storage medium | |
CN114639233A (en) | Congestion state prediction method and device, electronic equipment and storage medium | |
da Silva et al. | Towards federated learning in edge computing for real-time traffic estimation in smart cities | |
Obzherin et al. | Hidden Markov model of information system with component-wise storage devices | |
KR102377474B1 (en) | Lost data recovery method and apparatus using parameter transfer lstm | |
CN111935005B (en) | Data transmission method, device, processing equipment and medium | |
WO2024012735A1 (en) | Training of a machine learning model for predictive maintenance tasks | |
CN111935026B (en) | Data transmission method, device, processing equipment and medium | |
CN114566048A (en) | Traffic control method based on multi-view self-adaptive space-time diagram network | |
Kwon et al. | Multilayered LSTM with parameter transfer for vehicle speed data imputation | |
Ma et al. | Short‐Term Traffic State Prediction Based on the Critical Road Selection Optimization in Transportation Networks |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |