KR20230099132A

KR20230099132A - Concept drift detecting apparatus, adaptive prediction system using the same and adaptive prediction method thereof

Info

Publication number: KR20230099132A
Application number: KR1020210188238A
Authority: KR
Inventors: 이상민; 박성호
Original assignee: 광운대학교 산학협력단; 한국공학대학교산학협력단
Priority date: 2021-12-27
Filing date: 2021-12-27
Publication date: 2023-07-04

Abstract

본 발명은 예측 모델 학습 후 학습했던 환경이 점진적으로 변화됨에 따라 예측 오류가 증가하는 컨셉 드리프트의 발생을 정확하게 검출하여 예측 정확도를 개선하면서도 예측 모델의 갱신 효율을 높일 수 있도록 한 컨셉 드리프트 검출 장치와 이를 적용한 적응적 예측 시스템 및 그 방법에 관한 것으로, 시간적으로 변화되는 컨셉 드리프트를 효과적으로 검출함으로써 최소한의 예측 모델 갱신만을 통해서 예측 성능을 최적 상태로 유지할 수 있도록 하여 연산 부하 감소에 따른 경제성을 확보하면서 성능을 높일 수 있는 효과가 있다. 특히, 본 발명은 점진적으로 변화되는 모니터링 대상 정보에서 특징을 선별한 후 예측 모델의 예측과 실제 결과의 오차를 산출하고, 산출된 오차를 슬라이딩하는 2개 윈도우의 에너지 통계를 기준으로 귀무가설을 검증하는 회귀 작업을 통해 실제 드리프트 발생 위치를 정확하게 검출할 수 있도록 하여 복잡한 데이터를 이용하더라도 빠른 연산을 통해 실제 드리프트 발생 위치를 확인할 수 있는 효과가 있다.The present invention relates to a concept drift detection device capable of improving prediction accuracy and increasing update efficiency of a predictive model by accurately detecting the occurrence of concept drift in which prediction errors increase as the learning environment gradually changes after learning a predictive model, and a concept drift detection device using the same. It relates to an applied adaptive prediction system and its method, which effectively detects concept drift that changes over time so that prediction performance can be maintained in an optimal state through minimal prediction model update, thereby improving performance while securing economic feasibility due to reduction in computational load. There is an effect that can be increased. In particular, the present invention selects features from gradually changing monitoring target information, calculates the error between the prediction of the predictive model and the actual result, and verifies the null hypothesis based on the energy statistics of the two windows sliding the calculated error. It is possible to accurately detect the actual drift occurrence position through the regression operation, so that the actual drift occurrence position can be confirmed through quick calculation even when complex data is used.

Description

Concept drift detecting apparatus, adaptive prediction system and method using the same

본 발명은 컨셉 드리프트 검출 장치와 이를 적용한 적응적 예측 시스템 및 그 방법에 관한 것으로, 예측 모델 학습 후 학습했던 환경이 점진적으로 변화됨에 따라 예측 오류가 증가하는 컨셉 드리프트의 발생을 정확하게 검출하여 예측 정확도를 개선하면서도 예측 모델의 갱신 효율을 높일 수 있도록 한 컨셉 드리프트 검출 장치와 이를 적용한 적응적 예측 시스템 및 그 방법에 관한 것이다. The present invention relates to an apparatus for detecting concept drift, an adaptive prediction system to which the same is applied, and a method for the same, and improves prediction accuracy by accurately detecting the occurrence of concept drift, in which prediction error increases as the learning environment gradually changes after learning a prediction model. It relates to a concept drift detection device that can improve the update efficiency of a predictive model while improving it, and an adaptive prediction system and method using the same.

[국가지원 연구개발에 대한 설명][Description of State-Supported R&D]

본 연구는 2021년도 정부의 재원으로 한국연구재단의 지원을 받아 수행된 연구임(No. 2021R1G1A1012888). This study was conducted with the support of the National Research Foundation of Korea with government funding in 2021 (No. 2021R1G1A1012888).

기계학습을 기반으로 하는 여러 예측 모델의 등장에 의해 다양한 환경에 대한 정밀한 예측이 가능해지고 있다. 이와 같이 인과관계에 따른 학습 데이터를 통해서 예측 모델을 학습시킨 후 적절한 예측 결과를 활용함으로써 자원을 절약하고 효율을 높일 수 있게 되는데, 예를 들어 교통 상황에 대한 정보를 통해 혼잡을 예측하거나 최적 경로를 예측할 수 있고, 구매 성향 정보를 통해 구매자의 구매 패턴을 예측할 수도 있다. Precise predictions for various environments are becoming possible due to the emergence of various prediction models based on machine learning. In this way, it is possible to save resources and increase efficiency by using the appropriate prediction results after learning a prediction model through learning data based on causal relationships. For example, congestion is predicted through information on traffic conditions or optimal routes are determined It is possible to predict the purchase pattern of the buyer through purchase propensity information.

하지만, 양질의 학습 데이터를 통해 높은 정확도의 예측 모델을 구축했다고 하더라도 예측 환경 자체가 변화되는 경우, 예측 모델의 성능은 점차 하락하게 된다. However, even if a highly accurate predictive model is built through high-quality training data, the performance of the predictive model gradually deteriorates when the predictive environment itself changes.

이러한 예측의 오차를 유발하는 환경 변화를 컨셉 드리프트(Concept drift)라 하며 지속적인 예측 정확도 유지를 위해서는 이와 같은 컨셉 드리프트에 대한 대응이 필요하다.Environmental changes that cause errors in prediction are called concept drift, and it is necessary to respond to such concept drift in order to continuously maintain prediction accuracy.

예를 들어, 반도체 제조에서 웨이퍼를 이송하는 데 널리 사용되는 자율 차량 시스템(Autonomous Vehicle System:AVS)에서는 교통 혼잡에 대처하기 위해 모든 차량을 실시간으로 모니터링하고 제어해야 하기 때문에 강력한 교통 제어가 필수적이며, 혼잡 상황에 따른 손실을 줄이기 위해 기계학습을 통한 예측 모델을 활용하고 있다.For example, in the Autonomous Vehicle System (AVS), which is widely used to transfer wafers in semiconductor manufacturing, robust traffic control is essential as all vehicles must be monitored and controlled in real time to cope with traffic congestion. In order to reduce losses due to congestion, a prediction model through machine learning is being used.

도 1은 가장 진보된 AVS로 열려진 오버헤드 호이스트 운송 시스템의 예로서, 도시된 바와 같이 철도 네트워크를 따라 웨이퍼를 이송할 수 있도록 설계되어 있다. 1 is an example of an overhead hoist transport system open to the most advanced AVS, designed to transport wafers along a railway network as shown.

통상 수천대의 차량을 통해서 웨이퍼가 운송되는 매우 복잡하고 혼잡한 환경이므로 차량 운송 시간을 최적화함으로써 생산성을 크게 개선할 수 있다.In a very complex and congested environment where wafers are typically transported by thousands of vehicles, productivity can be greatly improved by optimizing vehicle transport time.

도 2는 도 1에 도시된 오버헤드 호이스트 운송 시스템의 철도 네트워크와 이를 통한 경로 변경의 예로서, 도시된 바와 같이 철도 네트워크는 외부 루프와 중앙 루프로 이루어진다. 각각의 출발점과 목표점은 장비(생산 기계가 존재하는 구역) 위치를 기준으로 한다.Figure 2 is an example of a railway network of the overhead hoist transportation system shown in Figure 1 and a route change therethrough. As shown, the railway network consists of an outer loop and a central loop. Each starting point and target point are based on the position of the equipment (the area where the production machine is located).

철도 네트워크를 따라 웨이퍼를 효율적으로 운송하기 위해 AVS는 일반적으로 휴리스틱 라우팅 알고리즘을 사용하여 각 전송에 대한 최단 경로를 얻는다. 하지만 대부분의 경로가 중앙 루프와 외부 루프에 모두 집중되어 있기 때문에 이러한 루프가 자주 정체될 수밖에 없다. To transport wafers efficiently along rail networks, AVS typically use heuristic routing algorithms to obtain the shortest path for each transfer. However, since most routes are concentrated in both the central and outer loops, these loops are bound to congest frequently.

결국, 웨이퍼 생산성에 상당한 손실을 초래하는 병목 현상을 방지하려면 이러한 혼잡을 피해야 한다. 이를 위해 철도 네트워크 레이아웃을 복잡하게 변경하거나 다양한 규칙을 적용하여 혼잡을 줄이고자 하는 방법도 제안되었으나 적용이 어렵고 과도한 네트워크 계산 비용이 발생하기 때문에 혼잡 예측을 기반으로 하는 라우팅 제어 기술이 이용되고 있다. Ultimately, this congestion must be avoided to avoid bottlenecks that cause significant losses in wafer productivity. To this end, a method of reducing congestion by complexly changing the railroad network layout or applying various rules has been proposed.

도 2a에 도시된 바와 같이 출발 장비(S)에서 도착 장비(D)까지의 최단 경로가 얻어질 수 있는데, 이러한 경우 외부 루프에서 혼잡이 발생할 수 있다.As shown in Fig. 2a, the shortest path from starting device S to arriving device D can be obtained, in which case congestion may occur in the outer loop.

혼잡 예측 기반 라우팅 제어 방식은 도 2b와 같이 외부 루프의 혼잡 발생을 예상하여 이를 회피하는 새로운 경로를 생성하여 적용한다. As shown in FIG. 2B, the congestion prediction-based routing control method anticipates congestion in the outer loop and generates and applies a new route avoiding congestion.

이와 같은 혼잡 예측 방식을 통해서 좀 더 원활한 교통 흐름을 유지할 수 있어 웨이퍼 생산량을 높일 수 있게 된다. Through this congestion prediction method, smoother traffic flow can be maintained and wafer production can be increased.

하지만, 이와 같은 혼잡 예측의 경우 기존 교통 정보를 기반으로 학습된 것이기 때문에 교통 부하 증가에 따라 새로운 라우팅이 빈번해지면서 학습 당시 데이터 분포가 점차 변경되는 시변(컨셉 드리프트) 문제의 가능성이 존재한다. However, since such congestion prediction is learned based on existing traffic information, there is a possibility of a time-varying (concept drift) problem in which data distribution is gradually changed at the time of learning as new routing becomes more frequent as traffic load increases.

도 3은 실제 AVS의 교통 상황에서 컨셉 드리프트가 발생하는 시변 상황의 예를 보인 것이다. 도시된 바와 같이 시간 t₀에서 병목 구간(섹션 1050)의 교통량 분포가 시간 t₁에서 교통량 분포와 같이 서로 다른 양상으로 바뀌게 되며, 이와 같이 컨셉 드리프트로 인해 t₁ 이전에 훈련된 예측 모델은 새로운 교통량 분포에 적응할 수 없어 예측 및 라우팅 성능이 저하된다.3 shows an example of a time-varying situation in which concept drift occurs in an actual AVS traffic situation. As shown, the traffic volume distribution of the bottleneck section (section 1050) at time t ₀ changes to a different aspect like the traffic volume distribution at time t ₁ , and thus, due to the concept drift, the prediction model trained before t ₁ predicts a new traffic volume The inability to adapt to the distribution results in poor prediction and routing performance.

따라서, 이와 같은 컨셉 드리프트 발생을 효과적으로 확인하여 실질적인 컨셉 드리프트가 발생할 때 예측 모델을 갱신(update)함으로써 최소한의 부하로 예측성능을 유지하거나 개선할 필요가 있다.Therefore, it is necessary to maintain or improve prediction performance with a minimum load by effectively checking the occurrence of such concept drift and updating the prediction model when actual concept drift occurs.

한국 공개특허 제10-2019-0123040호 [발명의 명칭: 딥러닝 기반 태양광 발전량 예측 모델 갱신 주기를 설정하는 태양광 발전량 예측 모델 관리 장치 및 그 방법]Korean Patent Laid-open Publication No. 10-2019-0123040 [Title of Invention: Solar Power Generation Forecasting Model Management Apparatus and Method Setting Renewal Cycle Based on Deep Learning] 한국 공개특허 제10-2020-0046145호 [발명의 명칭: 예측 모델 훈련 관리 시스템, 예측 모델 훈련 관리 방법, 예측 모델 학습 관리를 위한 마스터 장치 및 슬레이브 장치]Korean Patent Publication No. 10-2020-0046145 [Title of Invention: Predictive model training management system, predictive model training management method, master device and slave device for predictive model learning management]

상기와 같은 문제점을 해결하기 위한 본 발명의 목적은 점진적으로 변화되는 컨셉 드리프트를 효과적으로 검출함으로써 최소한의 예측 모델 갱신만을 통해서 예측 성능을 최적 상태로 유지할 수 있도록 한 컨셉 드리프트 검출 장치와 이를 적용한 적응적 예측 시스템 및 그 방법을 제공하는 것이다.An object of the present invention to solve the above problems is a concept drift detection device capable of maintaining prediction performance in an optimal state through minimal prediction model update by effectively detecting progressively changing concept drift, and adaptive prediction using the same. To provide a system and its method.

또한, 본 발명의 다른 목적은 점진적으로 변화되는 모니터링 대상 정보에서 특징을 선별한 후 예측 모델의 예측과 실제 결과의 오차를 산출하고, 산출된 오차를 슬라이딩하는 2개 윈도우의 에너지 통계를 기준으로 귀무가설을 검증하는 회귀 작업을 통해 실제 드리프트 발생 위치를 정확하게 검출할 수 있도록 한 컨셉 드리프트 검출 장치와 이를 적용한 적응적 예측 시스템 및 그 방법을 제공하는 것이다.In addition, another object of the present invention is to calculate the error between the prediction of the predictive model and the actual result after selecting features from the information to be monitored that gradually changes, and calculate the error based on the energy statistics of the two windows sliding the calculated error. An object of the present invention is to provide a concept drift detection device capable of accurately detecting an actual drift occurrence position through a regression task to verify a hypothesis, an adaptive prediction system to which the same is applied, and a method therefor.

나아가, 본 발명의 또 다른 목적은 심층 심경망이 적용된 온라인 확률적 기울기 하강(Online stochastic gradient descent:OGSD) 알고리즘을 적용한 적응적 예측 모델을 이용하여 점진적으로 변화되는 교통량에 대한 예측을 수행하고, 해당 예측과 모니터링 특징 정보의 d차원 오차를 생성한 후, 2개 윈도우의 슬라이딩 가설 검증을 통해 실제 드리프트가 발생한 변화점을 검출하여 적응적 예측 모델을 갱신함으로써 최소한의 갱신을 통해 최대의 운송 효율을 제공할 수 있도록 한 컨셉 드리프트 검출 장치와 이를 적용한 적응적 예측 시스템 및 그 방법을 제공하는 것이다.Furthermore, another object of the present invention is to predict the gradually changing traffic volume using an adaptive prediction model using an online stochastic gradient descent (OGSD) algorithm applied with a deep deep network, and After generating the d-dimensional error of prediction and monitoring feature information, through two-window sliding hypothesis verification, the actual drift occurrence point is detected and the adaptive prediction model is updated to provide maximum transportation efficiency through minimal update. It is to provide a concept drift detection device capable of detecting drift and an adaptive prediction system and method using the same.

본 발명의 일 실시예에 따른 컨셉 드리프트 검출 장치를 적용한 적응적 예측 시스템은 예측 대상에 대하여 관측된 시계열 데이터를 수집하는 모니터링부와, 예측 대상에 대한 입력과 출력 정보를 학습하는 학습 모듈과 학습 모듈에 의해 학습되어 입력에 따른 예측 출력 정보를 제공하는 예측 모듈이 포함된 예측부와, 모니터링부가 제공하는 시계열 데이터를 기반으로 예측부의 예측 출력 정보와 관측 출력 정보의 시계열 예측 오차 샘플들을 산출하고, 산출된 시계열 예측 오차 샘플들을 대상으로 2개의 겹치지 않는 슬라이딩 윈도우를 설정한 후 각 윈도우의 예측 오차들에 대한 에너지 거리를 비교하여 컨셉 드리프트 발생 여부를 감지하는 과정을 상기 윈도우들을 슬라이딩하면서 회귀적으로 수행함으로써 수집된 시계열 데이터에서 컨셉 드리프트 발생 위치를 확인하고, 컨셉 드리프트 발생 시 예측부의 학습 모듈에 예측 모듈 갱신을 요청하는 컨셉 드리프트 검출부를 포함한다. An adaptive prediction system to which an apparatus for detecting concept drift according to an embodiment of the present invention is applied includes a monitoring unit that collects observed time-series data for a prediction target, a learning module that learns input and output information for the prediction target, and a learning module. Calculate and calculate time-series prediction error samples of the prediction output information of the prediction unit and the observation output information based on the prediction unit including the prediction module that is learned by and providing the prediction output information according to the input, and the time-series data provided by the monitoring unit After setting two non-overlapping sliding windows for the predicted time series prediction error samples, the process of detecting whether concept drift has occurred by comparing the energy distance for the prediction errors of each window is performed recursively while sliding the windows. A concept drift detection unit is included to check the concept drift occurrence position in the collected time series data and request update of the prediction module to the learning module of the prediction unit when the concept drift occurs.

일례로서, 컨셉 드리프트 검출부는 모니터링부에서 수신되는 시계열 데이터로부터 예측 모듈 구성에 입력과 출력 정보로 사용되는 변수를 특징 벡터로 선별하는 특징 선별 모듈과, 특징 선별 모듈에서 선별된 입력 특징 벡터를 예측 모듈에 제공하여 수신한 예측 출력 벡터와 상기 입력 특징 벡터에 대응되어 관측된 출력 특징 벡터를 기반으로 시계열 예측 오차 샘플들을 산출하는 성능 평가 모듈과, 상기 성능 평가 모듈로부터 수신한 시계열 예측 오차 샘플들을 크기 n의 비교 예측 오차 윈도우와 크기 m인 현재 예측 오차 윈도우로 나누어 각 윈도우에 포함된 오차 샘플들에 대한 에너지 거리를 에너지 통계로 산출하고, 이를 이용하여 귀무가설 검증을 위한 테스트 통계량을 계산하여 임계값과 비교한 후 테스트 통계량이 임계값보다 클 경우 귀무가설의 기각으로 판단하며, 귀무가설 기각 시 드리프트 발생에 따른 예측 모듈 갱신 요청을 예측부에 제공하는 드리프트 검출부를 포함할 수 있다.As an example, the concept drift detection unit includes a feature selection module that selects variables used as input and output information in the prediction module configuration from the time series data received from the monitoring unit as feature vectors, and the input feature vectors selected in the feature selection module as prediction modules. A performance evaluation module that calculates time-series prediction error samples based on the predicted output vector received by providing to and the observed output feature vector corresponding to the input feature vector, and time-series prediction error samples received from the performance evaluation module of size n It is divided into a comparative prediction error window of size m and a current prediction error window of size m to calculate the energy distance for the error samples included in each window as energy statistics, and using this to calculate the test statistic for null hypothesis verification, After comparison, if the test statistic is greater than the critical value, it is determined that the null hypothesis is rejected, and when the null hypothesis is rejected, a drift detection unit may be included to provide a prediction module update request according to drift occurrence to the prediction unit.

일례로서, 드리프트 검출부는 성능 평가 모듈로부터 수신한 시계열 예측 오차 샘플들로 이루어진 예측 오차 집합을 대상으로 각각 크기 n과 m의 비교 예측 오차 윈도우와 현재 예측 오차 윈도우로 구분하여 각각의 테스트 통계량을 산출한 후 이를 임계값과 비교하는 것으로 귀무가설을 검증하는 과정을, 상기 윈도우들을 상기 예측 오차 집합을 범위로 슬라이딩 방식으로 이동시키면서 반복할 수 있다.As an example, the drift detection unit divides a prediction error set consisting of time series prediction error samples received from the performance evaluation module into a comparative prediction error window and a current prediction error window of size n and m, respectively, and calculates each test statistic Afterwards, the process of verifying the null hypothesis by comparing this with the threshold value can be repeated while moving the windows in a sliding manner within the range of the prediction error set.

한편, 귀무가설 검증은 부트스트랩 기반 가설 테스트로 수행되며, 테스트 통계량의 값이 부트스트랩 기법에 의해 계산된 통계적으로 유의미한 임계값을 기준으로 귀무가설을 검증할 수 있다.Meanwhile, the null hypothesis test is performed by a bootstrap-based hypothesis test, and the null hypothesis can be verified based on a statistically significant threshold value calculated by the bootstrap method.

일례로서, 예측부의 학습 모듈은 컨셉 드리프트 검출부에서 예측 모듈 갱신을 요청 받으면 미리 설정된 적응 학습 알고리즘에 따라 예측 모듈을 갱신할 수 있다.As an example, the learning module of the prediction unit may update the prediction module according to a preset adaptive learning algorithm when the concept drift detection unit receives a request to update the prediction module.

일례로서, 예측 모듈 및 적응적 학습 모듈에 적용되는 적응 학습 알고리즘은 PAL(Passive-aggressive learning) 학습법, 선형 회귀 모델이 적용된 OSGD(Online stochastic gradient descent) 학습법(OSGD-L), 심층 신경망이 적용된 OSGD 학습법(OSGD-D), 커널 회귀 모듈이 적용된 NOLK(Nonlinear Online Learning with Kernel) 학습법 중 하나일 수 있다.As an example, the adaptive learning algorithms applied to the prediction module and the adaptive learning module include a passive-aggressive learning (PAL) learning method, an online stochastic gradient descent (OSGD-L) learning method applied with a linear regression model, and OSGD applied with a deep neural network. It may be one of a learning method (OSGD-D) and a nonlinear online learning with kernel (NOLK) learning method to which a kernel regression module is applied.

본 발명의 다른 실시예에 따른 컨셉 드리프트 검출 장치는 예측 대상으로부터 관측된 시계열 데이터를 기반으로 예측 모델 구성에 입력과 출력 정보로 사용되는 변수를 특징벡터로 선별하고, 미리 구성된 예측 모델을 통해 얻은 예측 출력 벡터와 실제 관측된 출력 벡터 간의 시계열 예측 오차 샘플들을 산출하고, 산출된 시계열 예측 오차 샘플들을 대상으로 2개의 겹치지 않는 슬라이딩 윈도우를 설정한 후 각 윈도우의 예측 오차들에 대한 에너지 거리를 비교하여 컨셉 드리프트 발생 여부를 감지하는 과정을 윈도우들을 슬라이딩하면서 회귀적으로 수행하되, 컨셉 드리프트 발생을 감지하면 예측 모델에 대한 갱신을 요청하는 정보를 출력한다. A concept drift detection apparatus according to another embodiment of the present invention selects variables used as input and output information for constructing a predictive model as feature vectors based on time series data observed from a prediction target, and predicts obtained through a pre-configured predictive model. Time series prediction error samples between the output vector and the actually observed output vector are calculated, two non-overlapping sliding windows are set for the calculated time series prediction error samples, and the energy distances of the prediction errors in each window are compared. The process of detecting whether or not drift occurs is performed recursively while sliding the windows, and when concept drift occurs, information requesting update of the prediction model is output.

일례로서, 컨셉 드리프트 검출 장치는 예측 대상으로부터 관측된 시계열 데이터로부터 예측 모델 구성에 입력과 출력 정보로 사용되는 변수를 특징벡터로 선별하는 특징 선별 모듈과, 특징 선별 모듈에서 선별된 입력 특징벡터를 미리 마련된 예측 모델에 제공하여 수신한 예측 출력 벡터와 상기 입력 특징벡터에 대응되어 관측된 출력 특징 벡터를 기반으로 시계열 예측 오차 샘플들을 산출하는 성능 평가 모듈과, 성능 평가 모듈로부터 수신한 시계열 예측 오차 샘플들을 크기 n의 비교 예측 오차 윈도우와 크기 m인 현재 예측 오차 윈도우로 나누어 각 윈도우에 포함된 오차 샘플들에 대한 에너지 거리를 에너지 통계로 산출하고, 이를 이용하여 귀무가설 검증을 위한 테스트 통계량을 계산하여 임계값과 비교한 후 테스트 통계량이 임계값보다 클 경우 귀무가설의 기각으로 판단하며, 귀무가설 기각 시 드리프트 발생에 따른 예측 모델 갱신 요청 정보를 출력하는 드리프트 검출부를 포함할 수 있다.As an example, the concept drift detection apparatus includes a feature selection module that selects variables used as input and output information in constructing a prediction model from time series data observed from a prediction target as feature vectors, and input feature vectors selected in the feature selection module in advance. A performance evaluation module that calculates time-series prediction error samples based on the predicted output vector provided to the prepared prediction model and the observed output feature vector corresponding to the input feature vector, and the time-series prediction error samples received from the performance evaluation module Divided into a comparison prediction error window of size n and a current prediction error window of size m, the energy distance for the error samples included in each window is calculated as energy statistics, and using this, the test statistic for null hypothesis verification is calculated to determine the threshold If the test statistic is greater than the threshold value after comparison with the value, it is determined that the null hypothesis is rejected, and when the null hypothesis is rejected, a drift detection unit may be included to output predictive model update request information according to drift occurrence.

한편, 드리프트 검출부는 성능 평가 모듈로부터 수신한 시계열 예측 오차 샘플들로 이루어진 예측 오차 집합을 대상으로 각각 크기 n과 m의 비교 예측 오차 윈도우와 현재 예측 오차 윈도우로 구분하여 각각의 테스트 통계량을 산출한 후 이를 임계값과 비교하는 것으로 귀무가설을 검증하는 과정을, 상기 윈도우들을 상기 예측 오차 집합을 범위로 슬라이딩 방식으로 이동시키면서 반복할 수 있다.On the other hand, the drift detector divides the prediction error set consisting of the time series prediction error samples received from the performance evaluation module into a comparison prediction error window and a current prediction error window of size n and m, respectively, and calculates each test statistic. The process of verifying the null hypothesis by comparing this with the threshold value can be repeated while moving the windows in a sliding manner within the range of the prediction error set.

본 발명의 또 다른 실시예에 따른 컨셉 드리프트 검출 장치를 적용한 적응적 예측 시스템의 예측 방법은, 예측 대상에 대한 입력과 출력 정보를 학습하여 입력에 따른 출력을 예측하는 예측 모듈을 마련하는 준비 단계와, 예측 대상에 대하여 관측된 시계열 데이터를 수집하는 관측 단계와, 상기 수집된 시계열 데이터를 기반으로 예측 모듈의 예측 출력 정보와 관측 출력 정보의 시계열 예측 오차 샘플들을 산출하는 성능 평가 단계와, 성능 평가 단계에서 산출된 시계열 예측 오차 샘플들을 대상으로 2개의 겹치지 않는 슬라이딩 윈도우를 설정한 후 각 윈도우의 예측 오차들에 대한 에너지 거리를 비교하여 컨셉 드리프트 발생 여부를 감지하는 과정을 윈도우들을 슬라이딩하면서 회귀적으로 수행하는 드리프트 감지 단계와, 드리프트 감지 단계에서 컨셉 드리프트 발생이 감지될 경우 예측 모듈을 재학습하여 갱신하는 갱신 단계를 포함한다.A prediction method of an adaptive prediction system to which a concept drift detection apparatus is applied according to another embodiment of the present invention includes a preparation step of preparing a prediction module that predicts an output according to an input by learning input and output information for a prediction target; , an observation step of collecting observed time series data for a prediction target, a performance evaluation step of calculating prediction output information of the prediction module and time series prediction error samples of the observation output information based on the collected time series data, and a performance evaluation step. After setting two non-overlapping sliding windows for the time series prediction error samples calculated in , the process of detecting whether concept drift has occurred by comparing the energy distance of the prediction errors in each window is performed recursively while sliding the windows. and an update step of relearning and updating the prediction module when concept drift is detected in the drift detection step.

일례로서, 성능 평가 단계는 수집된 시계열 데이터로부터 예측 모듈 구성에 입력과 출력 정보로 사용되는 변수를 특징 벡터로 선별하고 선별된 입력 특징 벡터를 예측 모듈에 제공하여 수신한 예측 출력 벡터와 상기 입력 특징 벡터에 대응되어 관측된 출력 특징 벡터를 기반으로 시계열 예측 오차 샘플들을 산출하는 단계를 더 포함할 수 있다.As an example, the performance evaluation step selects variables used as input and output information in the prediction module configuration from the collected time series data as feature vectors, provides the selected input feature vectors to the prediction module, and provides the received prediction output vectors and the input features. The method may further include calculating time-series prediction error samples based on the observed output feature vector corresponding to the vector.

일례로서, 드리프트 감지 단계는 성능 평가 단계에서 산출된 시계열 예측 오차 샘플들을 크기 n의 비교 예측 오차 윈도우와 크기 m인 현재 예측 오차 윈도우로 나누는 윈도우 설정 단계와, 각 윈도우에 포함된 오차 샘플들에 대한 에너지 거리를 에너지 통계로 산출하는 에너지 거리 산출 단계와, 산출된 에너지 통계를 이용하여 귀무가설 검증을 위한 테스트 통계량을 계산하여 임계값과 비교한 후 테스트 통계량이 임계값보다 클 경우 귀무가설의 기각으로 판단하는 가설 검증 단계와, 가설 검증 결과 귀무가설 기각 시 드리프트 발생에 따라 예측 모듈을 갱신하는 갱신 단계와, 가설 검증 단계 이후 상기 윈도우들의 위치를 슬라이딩 방식으로 이동 시킨 다음 상기 에너지 거리 산출 단계부터 다시 반복하도록 하는 회귀 수행 단계를 포함할 수 있다.As an example, the drift detection step divides the time series prediction error samples calculated in the performance evaluation step into a comparative prediction error window of size n and a current prediction error window of size m, and a window setting step for error samples included in each window. In the energy distance calculation step of calculating the energy distance as an energy statistic, the test statistic for validating the null hypothesis is calculated using the calculated energy statistic and compared with the critical value, and if the test statistic is greater than the critical value, the null hypothesis is rejected. The hypothesis verification step of determining, the update step of updating the prediction module according to the occurrence of drift when the null hypothesis is rejected as a result of the hypothesis verification, and after the hypothesis verification step, the positions of the windows are moved in a sliding manner, and then the energy distance calculation step is repeated again. It may include a regression performing step to do so.

한편, 회귀 수행 단계는 상기 윈도우 슬라이딩 위치가 시계열 예측 오차 샘플들에 대해 미리 설정된 범위에 도달하는 경우 완료할 수 있다.Meanwhile, the regression performing step may be completed when the window sliding position reaches a preset range for time series prediction error samples.

본 발명의 또 다른 실시예에 따른 컨셉 드리프트 검출 장치의 컨셉 드리프트 검출 방법은, 예측 대상에 대하여 관측된 시계열 데이터를 수집하는 관측 단계와, 수집된 시계열 데이터를 기반으로 기 사용 중인 예측 모델의 예측 출력 정보와 관측 출력 정보의 시계열 예측 오차 샘플들을 산출하는 성능 평가 단계와, 성능 평가 단계에서 산출된 시계열 예측 오차 샘플들을 대상으로 2개의 겹치지 않는 슬라이딩 윈도우를 설정한 후 각 윈도우의 예측 오차들에 대한 에너지 거리를 비교하여 컨셉 드리프트 발생 여부를 감지하는 과정을 윈도우들을 슬라이딩하면서 회귀적으로 수행하는 드리프트 감지 단계와, 드리프트 감지 단계에서 컨셉 드리프트 발생이 감지될 경우 상기 예측 모델에 대한 재학습을 요청하는 갱신 요청 단계를 포함한다.A concept drift detection method of a concept drift detection apparatus according to another embodiment of the present invention includes an observation step of collecting observed time series data for a prediction target, and a prediction output of a prediction model that is already in use based on the collected time series data. After setting two non-overlapping sliding windows for the performance evaluation step of calculating time series prediction error samples of information and observation output information, and the time series prediction error samples calculated in the performance evaluation step, energy for the prediction errors of each window A drift detection step of recursively performing a process of detecting concept drift by comparing distances while sliding windows, and an update request requesting re-learning of the prediction model when concept drift is detected in the drift detection step. Include steps.

본 발명은 점진적으로 변화되는 컨셉 드리프트를 효과적으로 검출함으로써 최소한의 예측 모델 갱신만을 통해서 예측 성능을 최적 상태로 유지할 수 있도록 하여 연산 부하 감소에 따른 경제성을 확보하면서 성능을 높일 수 있는 효과가 있다.The present invention has an effect of increasing performance while securing economic feasibility according to a reduction in computational load by maintaining prediction performance in an optimal state through minimal prediction model update by effectively detecting gradually changing concept drift.

또한, 본 발명은 점진적으로 변화되는 모니터링 대상 정보에서 특징을 선별한 후 예측 모델의 예측과 실제 결과의 오차를 산출하고, 산출된 오차를 슬라이딩하는 2개 윈도우의 에너지 통계를 기준으로 귀무가설을 검증하는 회귀 작업을 통해 실제 드리프트 발생 위치를 정확하게 검출할 수 있도록 하여 복잡한 데이터를 이용하더라도 빠른 연산을 통해 실제 드리프트 발생 위치를 확인할 수 있는 효과가 있다.In addition, the present invention selects features from gradually changing monitoring target information, calculates the error between the prediction of the predictive model and the actual result, and verifies the null hypothesis based on the energy statistics of the two windows sliding the calculated error. It is possible to accurately detect the actual drift occurrence position through the regression operation, so that the actual drift occurrence position can be confirmed through quick calculation even when complex data is used.

나아가, 본 발명은 심층 심경망이 적용된 온라인 확률적 기울기 하강(Online stochastic gradient descent:OGSD) 알고리즘을 적용한 적응적 예측 모델을 이용하여 점진적으로 변화되는 교통량에 대한 예측을 수행하고, 해당 예측과 모니터링 특징 정보의 d차원 오차를 생성한 후, 2개 윈도우의 슬라이딩 가설 검증을 통해 실제 드리프트가 발생한 변화점을 검출하여 적응적 예측 모델을 갱신함으로써 최소한의 갱신을 통해 최대의 운송 효율을 제공할 수 있어 빈번한 교통량 변화가 발생하는 자율차량시스템에 대한 안정적이고 경제적인 제어 솔루션을 제공할 수 있는 효과가 있다. Furthermore, the present invention predicts gradually changing traffic volume using an adaptive prediction model to which an online stochastic gradient descent (OGSD) algorithm applied with a deep neural network is applied, and the prediction and monitoring characteristics are performed. After generating the d-dimensional error of the information, through the verification of the sliding hypothesis of two windows, the change point where the actual drift occurred is detected and the adaptive prediction model is updated. It has the effect of providing a stable and economical control solution for autonomous vehicle systems in which traffic changes occur.

도 1은 오버헤드 호이스트 운송 시스템의 예.
도 2는 오버헤드 호이스트 운송 시스템의 철도 네트워크와 이를 통한 경로 변경의 예.
도 3은 실제 AVS의 교통 상황에서 컨셉 드리프트가 발생하는 시변 상황의 예.
도 4는 실제 AVS의 교통 상황에서 발생하는 점진적 컨셉 드리프트와 실제 변화 발생 지점의 예.
도 5는 고정된 환경에서의 비적응 학습 알고리즘의 예측 결과 예.
도 6은 비정상 환경에서의 비적응 학습 알고리즘의 예측 결과 예.
도 7은 비정상 한경에서의 비적응 학습 알고리즘의 예측 결과를 시각적으로 보인 화면 예.
도 8은 본 발명의 실시예에 따른 컨셉 드리프트 검출 장치를 적용한 적응적 예측 시스템의 구성도.
도 9는 본 발명의 실시예에 따른 적응적 예측 시스템의 동작 과정을 보인 순서도.
도 10은 비정상 환경에서 블라인드 방식의 적응적 학습 알고리즘의 예측 결과 예.
도 11은 비정상 환경에서 온라인 방식의 적응적 학습 알고리즘의 예측 결과 예.
도 12는 비정상 환경에서 적응적 학습 알고리즘 예측 결과 예.
도 13은 본 발명의 실시예에 따른 적응적 예측 시스템의 예측 결과 예.
도 14는 본 발명의 실시예에 따른 AVS의 제어 효율을 설명하기 위한 예.1 is an example of an overhead hoist transport system;
2 is an example of a railway network of an overhead hoist transportation system and a route change through it;
3 is an example of a time-varying situation in which concept drift occurs in an actual AVS traffic situation.
4 is an example of a gradual concept drift occurring in an actual AVS traffic situation and an actual change occurrence point.
5 is an example of a prediction result of a non-adaptive learning algorithm in a fixed environment.
6 is an example of a prediction result of a non-adaptive learning algorithm in an abnormal environment.
7 is an example of a screen visually showing prediction results of a non-adaptive learning algorithm in an abnormal environment.
8 is a configuration diagram of an adaptive prediction system to which a concept drift detection apparatus according to an embodiment of the present invention is applied.
9 is a flowchart showing the operation process of an adaptive prediction system according to an embodiment of the present invention.
10 is an example of prediction results of a blind-type adaptive learning algorithm in an abnormal environment.
11 is an example of a prediction result of an online-type adaptive learning algorithm in an abnormal environment.
12 is an example of an adaptive learning algorithm prediction result in an abnormal environment.
13 is an example of a prediction result of an adaptive prediction system according to an embodiment of the present invention.
14 is an example for explaining control efficiency of AVS according to an embodiment of the present invention.

본 발명에서 사용되는 기술적 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아님을 유의해야 한다. 또한, 본 발명에서 사용되는 기술적 용어는 본 발명에서 특별히 다른 의미로 정의되지 않는 한 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 의미로 해석되어야 하며, 과도하게 포괄적인 의미로 해석되거나 과도하게 축소된 의미로 해석되지 않아야 한다. 또한, 본 발명에서 사용되는 기술적인 용어가 본 발명의 사상을 정확하게 표현하지 못하는 잘못된 기술적 용어일 때에는 당업자가 올바르게 이해할 수 있는 기술적 용어로 대체되어 이해되어야 할 것이다. 또한, 본 발명에서 사용되는 일반적인 용어는 사전에 정의되어 있는 바에 따라 또는 전후 문맥상에 따라 해석되어야 하며, 과도하게 축소된 의미로 해석되지 않아야 한다.It should be noted that technical terms used in the present invention are only used to describe specific embodiments and are not intended to limit the present invention. In addition, technical terms used in the present invention should be interpreted in terms commonly understood by those of ordinary skill in the art to which the present invention belongs, unless specifically defined otherwise in the present invention, and are not excessively comprehensive. It should not be interpreted in a meaning or in an excessively reduced sense. In addition, when the technical terms used in the present invention are erroneous technical terms that do not accurately express the spirit of the present invention, they should be replaced with technical terms that those skilled in the art can correctly understand. In addition, general terms used in the present invention should be interpreted as defined in advance or according to the context, and should not be interpreted in an excessively reduced sense.

또한, 본 발명에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함한다. 본 발명에서 "구성된다" 또는 "포함한다" 등의 용어는 발명에 기재된 여러 구성 요소들 또는 여러 단계를 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다.Also, singular expressions used in the present invention include plural expressions unless the context clearly dictates otherwise. Terms such as "consisting of" or "comprising" in the present invention should not be construed as necessarily including all of the various elements or steps described in the invention, and some of the elements or steps may not be included. may or may further include additional components or steps.

또한, 본 발명에서 사용되는 제 1, 제 2 등과 같이 서수를 포함하는 용어는 구성 요소들을 설명하는데 사용될 수 있지만 구성 요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제 1 구성 요소는 제 2 구성 요소로 명명될 수 있고, 유사하게 제 2 구성 요소도 제 1 구성 요소로 명명될 수 있다.In addition, terms including ordinal numbers such as first and second used in the present invention may be used to describe components, but components should not be limited by the terms. Terms are used only to distinguish one component from another. For example, a first element may be termed a second element, and similarly, a second element may be termed a first element, without departing from the scope of the present invention.

이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성 요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.Hereinafter, preferred embodiments according to the present invention will be described in detail with reference to the accompanying drawings, but the same or similar components are given the same reference numerals regardless of reference numerals, and redundant description thereof will be omitted.

또한, 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 발명의 사상을 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 발명의 사상이 제한되는 것으로 해석되어서는 아니 됨을 유의해야 한다. In addition, in describing the present invention, if it is determined that a detailed description of a related known technology may obscure the gist of the present invention, the detailed description will be omitted. In addition, it should be noted that the accompanying drawings are only for easily understanding the spirit of the present invention, and should not be construed as limiting the spirit of the present invention by the accompanying drawings.

앞서 설명했던 예측 모델에서 발생되는 컨셉 드리프트 문제를 해결하기 위하여, 먼저 컨셉 드리프트의 정의와 유형을 설명한다. In order to solve the concept drift problem that occurs in the prediction model described above, first, the definition and types of concept drift are explained.

예측 모델 f는 시간 t까지 수집된 데이터 스트림 {(x₀,y₀),…,(x_i,y_i),…,(x_t,y_t)}에서 학습되며, 여기서 x_i는 p차원 입력 특징 벡터이고 y_i는 시간 t에 대응하는 출력 벡터이다. 데이터(x_t,y_t)는 결합 분포 p_t(x,y)를 따르게 되는데, 시간 t에서의 개념은 결합 확률 p_t(x,y)로 정의될 수 있다. The predictive model f is the data stream collected up to time t {(x ₀ ,y ₀ ),... ,(x _i ,y _i ),… ,(x _t ,y _t )}, where x _i is a p-dimensional input feature vector and y _i is an output vector corresponding to time t. Data (x _t , y _t ) follows a joint distribution p _t (x,y), and the concept at time t can be defined as a joint probability p _t (x,y).

컨셉 드리프트는 다음과 같이 t_i와 t_i+1의 두 시간 사이의 결합 확률에 변화가 있을 때 발생한다.Concept drift occurs when there is a change in the joint probability between the two times t _i and t _i+1 as follows.

통상 컨셉 드리프트는 결합 확률의 변화에 따라 복수의 클래스(클래스 사전 컨셉 드리프트, 가상 컨셉 드리프트, 실제 컨셉 드리프트 등)로 분류할 수 있으나, 본 발명에서 관심이 있는 클래스는 실제 컨셉 드리프트(Real concept drift)로서, 이는 사후 확률의 변화에 따른 드리프트 발생에 해당한다. 즉, 고정 입력에 대한 대상 개념이 시간에 따라 변경되는 경우를 의미한다.In general, concept drift can be classified into a plurality of classes (class pre-concept drift, virtual concept drift, real concept drift, etc.) according to changes in joint probabilities, but the class of interest in the present invention is real concept drift , which corresponds to the occurrence of drift according to the change in the posterior probability. That is, it means a case where the target concept for a fixed input changes over time.

이와 같은 실제 컨셉 드리프트는 새로운 컨셉이 기존 컨셉을 갑자기 대체하는 경우와 비교적 오랜 시간에 걸쳐 발생하면 점진적인 변화가 발생하는 경우가 있다. 그 외에 한 동안 구개념과 신개념이 공존한다거나 이전에 관찰된 컨셉 변경이 일정 시간 후 다시 발생하는 경우도 있다. In practice, concept drift like this occurs when a new concept suddenly replaces an old concept, or when a gradual change occurs over a relatively long period of time. In addition, there are cases where old and new concepts coexist for a while, or previously observed concept changes occur again after a certain period of time.

여기서, 새로운 개념이 갑자기 기존 개념을 대체하는 경우 드리프트 발생을 예측하기가 용이하기 때문에, 새로운 개념이 등장할 때 예측 모델을 갱신하면 된다. 하지만, 점진적으로 천천히 변화가 발생할 경우 드리프트 발생 시점을 정확하게 파악하기 어렵게 되므로 이와 같은 점진적인 컨셉 드리프트 발생 환경의 경우 예측 모델에 대한 신뢰성이 점차 낮아지게 된다. Here, since it is easy to predict the occurrence of drift when a new concept suddenly replaces an existing concept, it is sufficient to update the prediction model when a new concept appears. However, when a gradual and slow change occurs, it is difficult to accurately determine the drift occurrence time, so in the case of such a gradual concept drift occurrence environment, the reliability of the prediction model gradually decreases.

따라서, 본 발명은 이와 같은 점진적으로 변화되는 컨셉 드리프트 발생 환경에서도 정확한 드리프트 발생 시점을 파악하여 예측 모델을 갱신하도록 함으로써 예측 모델의 정확도를 높이면서 갱신 횟수를 최소화함을 목표로 한다. Accordingly, an object of the present invention is to minimize the number of updates while increasing the accuracy of a predictive model by recognizing an accurate drift occurrence point and updating the predictive model even in such a gradually changing concept drift environment.

이와 같은 컨셉 드리프트의 발생이 문제가 된다는 것은 알려져 있는 상황이므로, 과거 연구자들은 이와 같은 컨셉 드리프트를 해소하기 위한 여러 방법들을 제시하였다. Since it is known that the occurrence of such concept drift is a problem, past researchers have proposed various methods to solve such concept drift.

통상 종래의 컨셉 드리프트 대응 방법은 미묘한 컨셉 드리프트의 감지 대신 미리 설정된 방식으로 예측 모델을 적용하는 수동 전략을 이용하게 되는데, 이러한 수동 전략은 블라인드 및 온라인 적응의 두 가지 유형으로 분류된다.Conventional concept drift countermeasures usually use a manual strategy of applying a predictive model in a preset manner instead of detecting subtle concept drift, and these manual strategies are classified into two types: blind and online adaptation.

블라인드 적응은 예측 모델이 고정 크기의 최근 데이터로 주기적으로 재학습되는 방식을 이용하며, 온라인 적응은 실시간으로 최신 데이터로 모델을 업데이트하는 방식을 이용한다.Blind adaptation uses a method in which a predictive model is periodically retrained with the latest data of a fixed size, and online adaptation uses a method in which the model is updated with the latest data in real time.

이와 같은 블라인드 적응 및 온라인 적응 방식의 경우, 사용되는 예측 알고리즘은 적응적 예측 알고리즘이나 비적응적 예측 알고리즘이 필요에 따라 선택적으로 이용되었다. In the case of such blind adaptation and online adaptation methods, an adaptive prediction algorithm or a non-adaptive prediction algorithm is selectively used as a prediction algorithm to be used.

이 때 사용될 수 있는 비적응적 예측 알고리즘은 대표적으로 선형 회귀(Linear regression) 알고리즘, 커널 회귀(Kernel regression) 알고리즘, 심층 신경망(Deep neural network) 알고리즘일 수 있으며, 적응적 예측 알고리즘은 대표적으로 온라인 확률적 경사하강(Online Stochastic Gradient Descent:OSGD) 학습 알고리즘, 수동적 공격 학습(Passive-Aggressive Learning:PAL) 알고리즘, 커널을 이용한 비선형 온라인 학습(Nonlinear Online Learning with Kernel:NOLK) 알고리즘 등이 적용될 수 있다.The non-adaptive prediction algorithm that can be used at this time may be a linear regression algorithm, a kernel regression algorithm, or a deep neural network algorithm, and the adaptive prediction algorithm is typically an online probability. An Online Stochastic Gradient Descent (OSGD) learning algorithm, a Passive-Aggressive Learning (PAL) algorithm, a Nonlinear Online Learning with Kernel (NOLK) algorithm, and the like may be applied.

하지만, 이와 같은 블라인드 적응 방식이나 온라인 적응 방식의 경우, 빈번한 갱신에 의해 연산 부하가 크게 증가하고 민감도가 너무 낮아지거나 높아지는 문제가 발생한다. However, in the case of such a blind adaptation method or online adaptation method, a computational load greatly increases due to frequent updates and a problem in that sensitivity is too low or high occurs.

예컨대 블라인드 적응 방식은 일정한 주기로 일정한 크기의 데이터를 이용하여 무조건 예측 모델을 갱신하는 방식을 이용한다. 이 경우 주기의 설정에 따라 잦은 갱신에 따른 부하가 증가할 수 있고, 주기가 긴 경우 드리프트 발생에 대한 대응이 둔감해지는 문제가 발생한다. 특히 드리프트 발생이 일정하지 않을 경우 블라인드 적응 방식은 민감도가 낮거나 높아질 수 있어 예측 성능을 안정적으로 신뢰하기 어렵게 된다.For example, the blind adaptation method uses a method of unconditionally updating a predictive model using data of a certain size at a certain period. In this case, the load due to frequent updates may increase according to the setting of the period, and when the period is long, a problem in that response to drift occurrence becomes insensitive occurs. In particular, if the occurrence of drift is not constant, the blind adaptation method may have low or high sensitivity, making it difficult to reliably predict prediction performance.

한편, 온라인 적응 방식은 실시간 수집되는 데이터로 항상 예측 모델을 갱신하게 되므로 과도하게 빈번한 예측 모델 갱신에 의해 부하가 급증하며, 잦은 예측 모델 갱신에 의해 수집 데이터 변화에 너무 민감하게 대응하므로 예측 노이즈가 많아지는 문제가 발생한다. On the other hand, since the online adaptation method always updates the prediction model with data collected in real time, the load increases rapidly due to excessively frequent update of the prediction model, and the frequent prediction model renewal causes too much prediction noise because it responds too sensitively to changes in collected data. The losing problem arises.

이와 같은 종래의 예측 알고리즘과 종래의 블라인드 및 온라인 컨셉 드리프트 대응 방식을 구체적인 예시를 들어 설명한다. Such a conventional prediction algorithm and conventional blind and online concept drift response methods will be described with specific examples.

실험을 위하여 대규모 반도체 공장에서 실제 사용되는 자율 차량 시스템(AVS)과 동일한 테스트베드를 제공하는 AVS 중심 시뮬레이션 소프트웨어로서 평균 전송 및 대기 시간에서 95% 이상의 정확도로 실제 AVS 특성을 모방하는 툴을 이용하여 실제 AVS가 일반적으로 작동하는 100% 작업 부하 상태를 136%까지 점진적으로 3%씩 늘리면서 100일간 시뮬레이션을 수행하였다.AVS-centered simulation software that provides the same test bed as the autonomous vehicle system (AVS) actually used in large-scale semiconductor factories for experiments. Simulations were run for 100 days, taking the 100% workload condition where AVS typically operates, incrementally increasing by 3% to 136%.

총 샘플 수는 약 24,000개였으며 AVS 작업 부하에 대해 12개의 드리프트가 발생하게 된다.The total number of samples was around 24,000, resulting in 12 drifts for the AVS workload.

훈련을 위해 데이터 세트를 1,200개의 샘플로 나누고 나머지 데이터로 테스트를 수행하였으며, 테스트 데이터는 적응 학습에서 훈련 데이터 세트와 테스트 데이터 세트 모두에 사용되었다.For training, the data set was divided into 1,200 samples and the test was performed with the remaining data, and the test data was used for both training and test data sets in adaptive learning.

차량 로그에서 타임 스탬프, 운전 상태, 위치, 속도 및 지정된 경로를 수집하여 수천 대의 차량에 대한 주행 기록을 요약한 다음, 로그를 철도의 분기점과 합류점 사이의 차선의 최소 단위인 섹션 기반 기록으로 변환하였다. We summarized driving records for thousands of vehicles by collecting timestamps, driving conditions, location, speed, and designated routes from vehicle logs, and then converted the logs into section-based records, the smallest unit of lanes between junctions and junctions of railroads. .

도 4는 실험을 위한 시뮬레이션으로 얻은 특정 섹션의 교통상황 변화의 예를 보인 것으로, 실제 AVS의 교통 상황에서 발생하는 점진적 컨셉 드리프트와 실제 변화 발생 지점의 예를 확인할 수 있다. 4 shows an example of a traffic situation change in a specific section obtained by simulation for an experiment, and an example of a gradual concept drift occurring in an actual AVS traffic situation and an actual change occurrence point can be confirmed.

도시된 도 4는 시뮬레이션에서 병목이 자주 발생하는 섹션 1,595에 대한 교통량 증가 상태를 보인 것으로, 1,200개의 샘플을 훈련 데이터로 이용하였으나, 해당 교통환경이 시간이 지남(샘플의 수집)에 따라 점진적으로 변화되는 것을 확인할 수 있다. Figure 4 shows the traffic increase status for section 1,595, where bottlenecks frequently occur in simulation, and 1,200 samples were used as training data, but the corresponding traffic environment gradually changed over time (sample collection). can confirm that it is.

이 경우, 3%씩 부하를 12번 증가시킨 상황으로서, 이 때 실질적으로 컨셉 드리프트가 발생한 횟수는 12번이다. In this case, it is a situation in which the load is increased 12 times by 3%, and at this time, the number of times concept drift actually occurs is 12 times.

실험에서는 혼잡이 자주 발생되는 7개의 병목구간(섹션 1,595, 섹션 164, 섹션 327, 섹션 1,798, 섹션 847, 섹션 1,240, 섹션 1,248)을 성능 검증을 위하여 선별하였고, 각 섹션에 대한 데이터셋을 구성하기 위하여 모든 구간에 대해 5분 간격으로 측정된 평균 교통량을 이용한다.In the experiment, seven bottleneck sections (section 1,595, section 164, section 327, section 1,798, section 847, section 1,240, section 1,248) where congestion frequently occurs were selected for performance verification, and a dataset for each section was constructed. For this purpose, the average traffic volume measured at 5-minute intervals is used for all sections.

한편, 예측 정확도를 정량적으로 평가하기 위하여 정확도 성능에는 MAE(Mean Absolute Error)와 RMSE(Root Mean Square Error)를 이용하였다.Meanwhile, in order to quantitatively evaluate the prediction accuracy, MAE (Mean Absolute Error) and RMSE (Root Mean Square Error) were used for accuracy performance.

여기서,

는 실제 출력 벡터이고,

는 예측 출력 벡터이다. here,

is the actual output vector,

is the predicted output vector.

이와 같은 방식으로 교통량의 변동이 없는 고정 환경에서 선형 회귀(Linear regression) 알고리즘, 커널 회귀(Kernel regression) 알고리즘, 심층 신경망(Deep neural network) 알고리즘의 예측 결과는 도 5와 같이 나타난다.In this way, the prediction results of the linear regression algorithm, the kernel regression algorithm, and the deep neural network algorithm in a fixed environment without traffic fluctuations are shown in FIG. 5 .

각 예측 모델에 대한 갱신은 진행하지 않은 것이지만 교통량의 변동이 없기 때문에 비교적 높은 정확도를 제공하고 있음을 알 수 있다.Although the update for each prediction model has not been carried out, it can be seen that relatively high accuracy is provided because there is no change in traffic volume.

하지만, 앞서 설정한 실험 방식과 같이 3%씩 12번에 걸쳐 점진적으로 교통량이 변화될 경우 갱신 없는 위 3종류 알고리즘의 정확도는 도 6과 같이 크게 악화됨을 알 수 있다. However, it can be seen that the accuracy of the above three algorithms without update deteriorates greatly as shown in FIG.

도 7a는 섹션 164에 대한 선형 회귀 예측 모델의 실제값과 예측값의 차이를 보인 것이고, 도 7b는 섹션 164에 대한 심층 신경망 모델의 실제값과 예측값의 차이를 보인 것이다. FIG. 7A shows the difference between the actual value and the predicted value of the linear regression prediction model for section 164, and FIG. 7B shows the difference between the actual value and the predicted value of the deep neural network model for section 164.

도시된 바와 같이 시간이 지남에 따라 실제값과 예측값의 차이가 크게 벌어지면서 성능이 악화됨을 알 수 있어 컨셉 드리프트에 대한 해결이 필수적이라는 것을 알 수 있다.As shown, it can be seen that the performance deteriorates as the difference between the actual value and the predicted value widens over time, so it can be seen that it is essential to solve the concept drift.

도 8은 본 발명의 실시예에 따른 컨셉 드리프트 검출 장치를 적용한 적응적 예측 시스템의 구성도이다. 8 is a configuration diagram of an adaptive prediction system to which a concept drift detection apparatus according to an embodiment of the present invention is applied.

도시된 바와 같이 크게 예측 대상에 대하여 관측된 시계열 데이터를 수집하는 모니터링부(110)와, 해당 모니터링부(110)가 제공하는 시계열 수집 자료를 토대로 이미 학습이 완료되어 사용되고 있는 예측 모델을 적용한 예측 모듈의 예측 결과와 관측 결과를 비교하여 컨셉 드리프트가 발생했는 지를 판단하는 컨셉 드리프트 검출부(120)와, 예측 대상에 대한 학습 데이터로 적응적 학습을 수행하고, 이러한 학습 결과로 입력에 따른 출력을 예측하는 예측 모델이 적용된 예측부(130)로 구분된다. As shown, a monitoring unit 110 that collects observed time-series data for a prediction target, and a prediction module applying a prediction model that has already been learned and used based on the time-series collection data provided by the monitoring unit 110 A concept drift detection unit 120 that compares the predicted result with the observed result to determine whether concept drift has occurred, performs adaptive learning with the learning data for the prediction target, and predicts the output according to the input with this learning result. It is divided into a prediction unit 130 to which a prediction model is applied.

예측부(130)는 예측 대상에 대한 입력과 출력 정보를 학습하는 학습 모듈과 상기 학습 모듈에 의해 학습되어 입력에 따른 예측 출력 정보를 제공하는 예측 모듈을 포함한다.The prediction unit 130 includes a learning module that learns input and output information for a prediction target and a prediction module that is learned by the learning module and provides prediction output information according to an input.

본 발명의 실시예에서는 예측부(130)의 예측 모듈에 적용되는 예측 모델로서, 적응적 예측 알고리즘을 이용하는데, 온라인 확률적 경사하강(Online Stochastic Gradient Descent:OSGD) 학습 알고리즘, 수동적 공격 학습(Passive-Aggressive Learning:PAL) 알고리즘, 커널을 이용한 비선형 온라인 학습(Nonlinear Online Learning with Kernel:NOLK) 알고리즘 중 하나를 이용할 수 있다. In the embodiment of the present invention, as a prediction model applied to the prediction module of the prediction unit 130, an adaptive prediction algorithm is used, such as an online stochastic gradient descent (OSGD) learning algorithm, a passive attack learning (Passive One of the Aggressive Learning (PAL) algorithm and Nonlinear Online Learning with Kernel (NOLK) algorithm can be used.

특히 OSGD의 경우 선형 회귀 모델이 적용된 OSGD(Online stochastic gradient descent) 학습법(OSGD-L), 심층 신경망이 적용된 OSGD 학습법(OSGD-D)을 이용할 수 있다. In particular, in the case of OSGD, OSGD (Online Stochastic Gradient Descent) learning method (OSGD-L) applied with a linear regression model and OSGD learning method (OSGD-D) applied with a deep neural network can be used.

한편, 도시된 컨셉 드리프트 검출부(120)는, 모니터링부(120)가 제공하는 시계열 데이터를 기반으로 예측부(130)의 예측 출력 정보(

)와 관측 출력 정보(

)의 시계열 예측 오차 샘플들을 산출하고, 산출된 시계열 예측 오차 샘플들(E)을 대상으로 2개의 겹치지 않는 슬라이딩 윈도우를 설정한 후 각 윈도우의 예측 오차들에 대한 에너지 거리를 비교하여 컨셉 드리프트 발생 여부를 감지하는 과정을 상기 윈도우들을 슬라이딩하면서 회귀적으로 수행함으로써 수집된 시계열 데이터에서 컨셉 드리프트 발생 위치를 확인하고, 컨셉 드리프트 발생 시 예측부(130)의 적응적 학습 모듈에 예측 모듈 갱신을 요청한다.On the other hand, the illustrated concept drift detection unit 120, based on the time-series data provided by the monitoring unit 120, predictive output information (

) and the observed output information (

) of time series prediction error samples, set two non-overlapping sliding windows for the calculated time series prediction error samples (E), and then compare the energy distances of the prediction errors in each window to determine whether or not concept drift has occurred. By recursively performing the detection process while sliding the windows, the concept drift occurrence position is confirmed in the collected time series data, and when the concept drift occurs, the adaptive learning module of the prediction unit 130 is requested to update the prediction module.

이를 좀더 상세히 설명한다.This will be explained in more detail.

컨셉 드리프트 검출부(120)는 모니터링부(110)에서 수신되는 시계열 데이터로부터 예측 모듈 구성에 입력과 출력 정보로 사용되는 변수를 특징 벡터로 선별하는 특징 선별 모듈을 포함한다.The concept drift detection unit 120 includes a feature selection module that selects variables used as input and output information in the configuration of the prediction module as feature vectors from time-series data received from the monitoring unit 110 .

특징 선별 모듈은 차원의 저주(알고리즘 실행의 복잡성)를 피하고 과적합 문제를 줄여 일반화를 향상시키기 위해 예측 모델 구성에 사용할 관련 특징(독립 변수)의 하위 집합을 선택하여 차원 축소를 수행한다. 본 실시예에서는 상관 기반 특징 선택(CFS)을 이용하는데 이는 관련이 없고 중복되고 노이즈가 많은 특징을 필터링하고 종속 변수와 관련된 독립 특징들을 식별하는 특징 선택 방식에 해당한다.The feature selection module performs dimensionality reduction by selecting a subset of relevant features (independent variables) to use in predictive model construction in order to avoid the curse of dimensionality (complexity of algorithm execution) and improve generalization by reducing overfitting problems. In this embodiment, correlation-based feature selection (CFS) is used, which corresponds to a feature selection method that filters out irrelevant, redundant, and noisy features and identifies independent features related to dependent variables.

이러한 CFS는 종속 변수가 주어지면 기능이 조건부로 독립적이라고 가정한다. 예를 들어 독립 변수와 종속 변수 사이의 모든 쌍에 대해 피어슨 상관 계수(PCC)를 계산하고, 모든 특징을 PCC 값으로 정렬한 다음 미리 정의된 임계값 Θ보다 큰 값을 가진 특징을 선택하는 방법을 이용할 수 있다. 통상 이와 같은 선택 방식을 통해서 전체 특징의 10% 수준으로 사용할 특징을 줄일 수 있다.These CFSs assume that functions are conditionally independent given the dependent variable. For example, how to calculate the Pearson Correlation Coefficient (PCC) for every pair between an independent and dependent variable, sort all features by PCC value, and then select the features with values greater than a predefined threshold Θ? available. Typically, through this selection method, the features to be used can be reduced to a level of 10% of the total features.

이와 같은 특징 선별 모듈에 의해 선별된 특징은 이미 예측 모듈의 예측 모델을 학습시키는데 사용된 특징과 동일한 방식으로 얻어지는 것으로, 이러한 선별된 특징(중요 변수)을 이용하여 학습과 드리프트 발생 검증에 대한 연산 부하를 줄일 수 있다.The features selected by the feature selection module are obtained in the same way as the features used to train the prediction model of the prediction module, and the computational load for learning and drift generation verification using these selected features (important variables). can reduce

컨셉 드리프트 검출부(120)의 성능 평가 모듈은 특징 선별 모듈에서 선별된 입력 특징 벡터(x_t-1)를 예측 모듈에 제공하여 수신한 예측 출력 벡터(

)와, 동일한 입력 특징 벡터(x_t-1)에 대응되어 관측된 출력 특징 벡터(

)의 차이를 기반으로 시계열 예측 오차 샘플들을 산출하는 성능 평가 모듈을 포함한다.The performance evaluation module of the concept drift detection unit 120 provides the input feature vector (x _t-1 ) selected by the feature selection module to the prediction module to obtain the received predicted output vector (

) and the observed output feature vector corresponding to the same input feature vector (x _t-1 ) (

), and a performance evaluation module that calculates time series prediction error samples based on the difference.

또한, 성능 평가 모듈로부터 수신한 시계열 예측 오차 샘플들을 크기 n의 비교 예측 오차 윈도우와 크기 m인 현재 예측 오차 윈도우로 나누어 각 윈도우에 포함된 오차 샘플들에 대한 에너지 거리를 에너지 통계로 산출하고, 이를 이용하여 귀무가설 검증을 위한 테스트 통계량을 계산하여 임계값과 비교한 후 테스트 통계량이 임계값보다 클 경우 귀무가설의 기각으로 판단하며, 귀무가설 기각 시 드리프트 발생에 따른 예측 모듈 갱신 요청을 상기 예측부에 제공하는 드리프트 검출부를 포함한다.In addition, by dividing the time series prediction error samples received from the performance evaluation module into a comparison prediction error window of size n and a current prediction error window of size m, energy distances for error samples included in each window are calculated as energy statistics. After calculating the test statistic for validating the null hypothesis and comparing it with the critical value, if the test statistic is greater than the critical value, the null hypothesis is judged to be rejected. It includes a drift detection unit provided to.

본 발명의 실시예에 따른 드리프트 검출부는 에너지 거리를 이용한 온라인 슬라이딩 윈도우 기반 드리프트 검출로 요약할 수 있는데, 이는 2개의 표본 테스트에서 에너지 거리를 기반으로 하는 에너지 통계를 이용하여 2개의 표본에 대한 에너지 통계가 드리프트 발생으로 인정할 수준으로 차이가 발생하는 것인지를 살피는 방법이다. 이와 같은 에너지 통계 방식은 데이터가 복잡하더라도 실제로 사용할 수 있다는 장점이 있다.The drift detection unit according to an embodiment of the present invention can be summarized as an online sliding window-based drift detection using energy distance, which is energy statistics for two samples using energy statistics based on energy distance in a two-sample test. It is a method to check whether the difference occurs at a level to be recognized as a drift occurrence. This energy statistics method has the advantage that it can actually be used even if the data is complex.

성능 평가 모듈이 제공하는 예측 오차 집합을 2개의 영역으로 구분하는데, 크기 n의 비교 예측 오차 윈도우(

)와 크기 m인 현재 예측 오차 윈도우(

)를 적용한다. 즉, 예측 오차 집합

이 T-m-n+1 시간부터 현재시간 T까지 최근에 수집되었다면 이를 비교 예측 오차 윈도우(

)와 현재 예측 오차 윈도우(

)로 구분한 후 에너지 거리에 해당하는 2개 샘플 에너지의 통계를 산출한다.The prediction error set provided by the performance evaluation module is divided into two areas, a comparative prediction error window of size n (

) and the current prediction error window of size m (

) is applied. That is, the prediction error set

If this was recently collected from time Tm-n+1 to the current time T, it is compared to the prediction error window (

) and the current prediction error window (

), and calculate the statistics of two sample energies corresponding to the energy distance.

여기서 오류 샘플(

) 또는 (

)는 각각 분포 F 및 K를 따르는 독립 랜덤 벡터로서, F와 K는 비모수적 다변량 분포 함수일 수 있다. 이와 같은 본 발명의 컨셉 드리프트 검출 방식은 다음과 같은 귀무 가설(歸無假說 두 집단을 대상으로 실험했을 때 각 집단에서 동일한 결과가 나올 것이라는 가설) H_o와 대립 가설 H₁ 사이의 결정으로 컨셉 드리프트 감지 문제를 정의한다.Error sample here (

) or (

) are independent random vectors following distributions F and K, respectively, and F and K may be nonparametric multivariate distribution functions. The concept drift detection method of the present invention is a concept drift by determining between the following null hypothesis (the hypothesis that the same result will be obtained in each group when the experiment is performed on two groups) H _o and the alternative hypothesis H ₁ Define the detection problem.

여기서

와

는 각 윈도우의 d차원 예측 오차 샘플을 나타내며, 절대 오차와 제곱 오차가 예측 성능을 평가하는데 사용되기 때문에 차원 d는 2이다. 두개의 d차원 독립 확률 변수 X와 Y 사이의 에너지 거리는 다음과 같이 정의된다.here

and

represents the d-dimensional prediction error sample of each window, and the dimension d is 2 because the absolute and squared errors are used to evaluate the prediction performance. The energy distance between two d-dimensional independent random variables X and Y is defined as:

여기서 Ex는 예상 함수이고, 벡터 X'와 Y'는 각각 X와 Y의 동일하게 분포된 복사본이며,

는 벡터의 길이를 나타낸다.where Ex is the expected function, the vectors X' and Y' are identically distributed copies of X and Y, respectively,

represents the length of the vector.

독립 랜덤 예측 오차 샘플인 비교 예측 오차 윈도우(

)와 현재 예측 오차 윈도우(

)에 대한 에너지 거리에 해당하는 2개 샘플 에너지 통계는 다음과 같이 정의된다.A comparative prediction error window, which is an independent random prediction error sample (

) and the current prediction error window (

The two-sample energy statistic corresponding to the energy distance for ) is defined as:

한편, 귀무가설을 테스트하기 위한 테스트 통계량은 다음과 같이 정의된다.Meanwhile, the test statistic for testing the null hypothesis is defined as follows.

이와 같은 테스트는 부트스트랩 기반 가설 테스트로 수행될 수 있다. 테스트 통계 T_n,m의 값이 부트스트랩 기법에 의해 계산된 통계적으로 유의한 임계값(α)에 비해 상대적으로 크면 귀무 가설 H_o가 기각된다. Such a test may be performed as a bootstrap-based hypothesis test. If the value of the test statistic T _n,m is relatively large compared to the statistically significant threshold (α) calculated by the bootstrap technique, the null hypothesis H _o is rejected.

즉, 두 예측 윈도우 사이에 검정 통계의 유의미한 변화가 감지되었다는 것은 회귀에서 컨셉 드리프트가 발생했으며 구축된 모델이 더 이상 적절하지 않음을 의미한다.That is, detecting a significant change in the test statistic between the two prediction windows means that concept drift has occurred in the regression and the built model is no longer appropriate.

본 발명의 실시예에서 컨셉 드리프트 검출부(120)의 드리프트 검출기는 성능 평가 모듈로부터 수신한 시계열 예측 오차 샘플들로 이루어진 예측 오차 집합(E)에 대상으로 각각 크기 n과 m의 비교 예측 오차 윈도우(

)와 현재 예측 오차 윈도우(

)를 적용한다. 이 때 n과 m은 하이퍼파라미터에 해당한다. 이와 같이 구분된 각 윈도우를 기반으로 각각의 테스트 통계량을 산출하여 임계값(α)과 비교하는 것으로 귀무가설을 검증하는 과정을 수행하되, 이 과정이 완료되면 윈도우들을 예측 오차 집합(E)을 범위 내에서 슬라이딩 방식으로 이동시킨 후 반복하여 가설을 검증한다.In an embodiment of the present invention, the drift detector of the concept drift detection unit 120 targets a prediction error set E composed of time-series prediction error samples received from the performance evaluation module, and compares prediction error windows of sizes n and m respectively (

) and the current prediction error window (

) is applied. In this case, n and m correspond to hyperparameters. The process of verifying the null hypothesis is performed by calculating each test statistic based on each window divided in this way and comparing it with the critical value (α). After moving in a sliding manner within, repeat to verify the hypothesis.

예측부(130)의 적응적 학습 모듈은 컨셉 드리프트 검출부(120)에서 예측 모듈 갱신을 요청 받으면 미리 설정된 적응 학습 알고리즘에 따라 예측 모듈을 갱신한다.The adaptive learning module of the prediction unit 130 updates the prediction module according to a preset adaptive learning algorithm when the concept drift detection unit 120 requests update of the prediction module.

도 9는 본 발명의 실시예에 따른 적응적 예측 시스템의 동작 과정을 보인 순서도로서, 우선 예측 대상에 대한 입력과 출력 정보를 학습하여 입력에 따른 출력을 예측하는 예측 모듈을 마련하고, 사용할 적응적 학습 알고리즘을 마련하는 등의 사전 작업을 진행한다. 9 is a flowchart showing the operation process of an adaptive prediction system according to an embodiment of the present invention. First, a prediction module for predicting an output according to an input is prepared by learning input and output information for a prediction target, and an adaptive prediction module to be used is prepared. Conduct preliminary work such as preparing a learning algorithm.

이후, 해당 예측 모듈이 동작하는 환경의 변화를 감지하여 이를 갱신하기 위한 방법으로서, 먼저 예측 대상에 대하여 관측된 시계열 데이터를 수집하여 수집된 시계열 데이터로부터 예측 모듈 구성에 입력과 출력 정보로 사용되는 변수를 특징 벡터로 선별한다.Then, as a method for detecting and updating the environment in which the prediction module operates, first collects the observed time series data for the prediction target, and from the collected time series data, variables used as input and output information in configuring the prediction module. is selected as a feature vector.

이후 선별된 특징을 가지는 시계열 샘플을 준비한다.Thereafter, time series samples having selected features are prepared.

수집 데이터에서 선별된 입력 특징 벡터를 예측 모듈에 제공하여 수신한 예측 출력 벡터와, 동일한 입력 특징 벡터에 대응되어 관측된 출력 특징 벡터를 기반으로 d차원의 시계열 예측 오차 샘플들을 산출한다.An input feature vector selected from the collected data is provided to the prediction module, and d-dimensional time-series prediction error samples are calculated based on the received predicted output vector and the observed output feature vector corresponding to the same input feature vector.

산출된 시계열 예측 오차 샘플들을 대상으로 크기 n의 비교 예측 오차 윈도우와 크기 m인 현재 예측 오차 윈도우로 나눈다.The calculated time series prediction error samples are divided into a comparative prediction error window of size n and a current prediction error window of size m.

나누어진 2개의 예측 오차 윈도우의 예측 오류 샘플들에 대한 에너지 통계량을 계산하고, 동질성 가설 검증을 위한 테스트 통계량을 산출한다.Calculate energy statistics for prediction error samples of the divided two prediction error windows, and calculate test statistics for homogeneity hypothesis verification.

만일 테스트 통계량이 임계치보다 크다면 귀무가설이 기각되며 예측 모델에 대한 갱신을 요청하고, 만일 임계치 이하라면 귀무가설이 만족되어 두 예측 오차 윈도우 간에 유의미한 변화가 없다고 판단한다.If the test statistic is greater than the critical value, the null hypothesis is rejected and an update of the predictive model is requested.

위 검증 후 비교 예측 오차 윈도우와 현재 예측 오차 윈도우의 위치를 이동하는 방식으로 상기 산출된 시계열 예측 오차 샘플들의 범위 내에서 윈도우를 순차적으로 슬라이딩 시키면서 각 윈도우의 예측오류 샘플에 대한 에너지 통계량을 계산하고 테스트 통계량을 산출한 후 귀무가설을 검증하는 과정을 반복한다. After the above verification, by moving the positions of the comparison prediction error window and the current prediction error window, the windows are sequentially slid within the range of the calculated time series prediction error samples, and the energy statistics for the prediction error samples of each window are calculated and tested. After calculating the statistics, repeat the process of testing the null hypothesis.

만일 준비된 시계열 샘플(상기 산출된 시계열 예측 오차 샘플) 내에서 더 이상 윈도우를 슬라이딩할 수 없다면 해당 시계열 샘플에 대한 확인이 완료되었으므로 종료한다. If the window can no longer be slid within the prepared time series sample (the calculated time series prediction error sample), the confirmation of the corresponding time series sample is completed and ends.

이와 같은 방법을 통해서 본 발명의 실시예에 따른 컨셉 드리프트 검출 방식은 정확한 드리프트 위치를 비교적 정확하게 파악하며, 이를 통해서 최소한의 갱신으로 높은 예측 정밀도를 제공할 수 있도록 예측 모듈을 유지 관리할 수 있게 된다. Through this method, the concept drift detection method according to an embodiment of the present invention relatively accurately grasps the exact drift position, and through this, it is possible to maintain the prediction module to provide high prediction accuracy with minimal updates.

도 10 내지 도 12는 비정상 환경에서의 기존 수동적 컨셉 드리프트 보상 방식의 예측 정확도와 본 발명의 실시예에 따른 능동적 컨셉 드리프트 보상 방식의 예측 정확도 및 모델 갱신 횟수를 비교한 것이다. 앞서 도 6을 설명하면서 제시한 실험 데이터를 그대로 이용한다.10 to 12 compare the prediction accuracy of the existing passive concept drift compensation method in an abnormal environment with the prediction accuracy of the active concept drift compensation method according to an embodiment of the present invention and the number of model updates. The experimental data presented in the description of FIG. 6 above is used as it is.

즉, 이전 실험과 같이 실제 AVS가 일반적으로 작동하는 100% 작업 부하 상태를 136%까지 점진적으로 3%씩 늘리면서 100일간 시뮬레이션을 수행하여 약 24,000개의 샘플을 얻고, 훈련을 위해 데이터 세트를 1,200개의 샘플로 나누고 나머지 데이터로 테스트를 수행한 것이다. That is, as in the previous experiment, we performed simulations for 100 days with a 100% workload condition at which the real AVS normally operates, incrementally increasing by 3% to 136%, to obtain approximately 24,000 samples, and the data set for training to 1,200 samples. divided by , and the test was performed with the remaining data.

차량 로그에서 타임 스탬프, 운전 상태, 위치, 속도 및 지정된 경로를 수집하여 수천 대의 차량에 대한 주행 기록을 요약한 다음, 로그를 철도의 분기점과 합류점 사이의 차선의 최소 단위인 섹션 기반 기록으로 변환하였다. 혼잡이 자주 발생되는 7개의 병목구간(섹션 1,595, 섹션 164, 섹션 327, 섹션 1,798, 섹션 847, 섹션 1,240, 섹션 1,248)을 성능 검증을 위하여 선별하였고, 각 섹션에 대한 데이터셋을 구성하기 위하여 모든 구간에 대해 5분 간격으로 측정된 평균 교통량을 이용한다.We summarized driving records for thousands of vehicles by collecting timestamps, driving conditions, location, speed, and designated routes from vehicle logs, and then converted the logs into section-based records, the smallest unit of lanes between junctions and junctions of railroads. . Seven bottlenecks (section 1,595, section 164, section 327, section 1,798, section 847, section 1,240, and section 1,248) where congestion frequently occurs were selected for performance verification, and all data sets for each section were constructed. The average traffic volume measured at 5-minute intervals is used for the section.

나아가 모든 경우의 적응적 예측 알고리즘으로 수동적 공격 학습(Passive-Aggressive Learning:PAL) 알고리즘, 선형 회귀 모델이 적용된 OSGD(Online stochastic gradient descent) 학습법(OSGD-L), 심층 신경망이 적용된 OSGD 학습법(OSGD-D), 커널이 적용된 OSGD 학습법(OSGD-N)을 테스트하였다.Furthermore, as an adaptive prediction algorithm in all cases, the passive-aggressive learning (PAL) algorithm, OSGD (Online stochastic gradient descent) learning method (OSGD-L) applied with a linear regression model, and OSGD learning method (OSGD-L) applied with a deep neural network D), the OSGD learning method (OSGD-N) applied with the kernel was tested.

도 10은 비정상 환경에서 수동적 컨셉 드리프트 보상 방식 중 블라인드 방식으로 적응형 예측 모델을 이용한 경우의 예측 결과를 보인 것으로, 해당 블라인드 방식의 예측 모델 재훈련 기간은 그리드 검색을 통해 최적화한 것으로 80번의 재훈련(예측 모델 갱신)을 수행한 경우 가장 높은 성능을 보였다. 10 shows prediction results when an adaptive prediction model is used in a blind method among passive concept drift compensation methods in an abnormal environment. (prediction model update) showed the highest performance.

여러 예측 모델 중 심층 신경망이 적용된 OSGD 학습법(OSGD-D)이 가장 높은 예측 성능을 보였다.Among several prediction models, OSGD learning method (OSGD-D) with deep neural network showed the highest prediction performance.

한편, 도 11은 비정상 환경에서 수동적 컨셉 드리프트 보상 방식 중 온라인 방식으로 적응형 예측 모델을 이용한 경우의 예측 결과를 보인 것으로, 해당 온라인 방식의 예측 모델은 모든 신규 데이터에 대해서 재훈련이 이루어지기 때문에 23,928번의 갱신이 수행된다.On the other hand, FIG. 11 shows the prediction results when the adaptive prediction model is used in the online method among passive concept drift compensation methods in an abnormal environment. Since the online method predictive model is retrained for all new data, update is performed.

한편, 이 경우에도 심층 신경망이 적용된 OSGD 학습법(OSGD-D)이 가장 높은 예측 성능을 보였으나, 잡음이나 이상값 샘플에 민감하기 때문에 블라인드 방법이 MAE나 RMSE 측면에서 온라인 적응 방법보다 더 높은 성능을 제공함을 알 수 있다.On the other hand, in this case, the OSGD learning method (OSGD-D) with deep neural network applied showed the highest prediction performance, but since it is sensitive to noise or outlier samples, the blind method performed better than the online adaptation method in terms of MAE or RMSE. It can be seen that providing

도 12는 섹션 164에 대해 온라인 방식으로 심층 신경망이 적용된 OSGD 학습법(OSGD-D)의 예측 결과를 보인 것으로, 도시된 바와 같이 예측에 잡음과 비정상 예측이 다수 발생하는 것을 알 수 있다. FIG. 12 shows the prediction result of the OSGD learning method (OSGD-D) to which the deep neural network is applied in an online manner for section 164. As shown, it can be seen that a lot of noise and abnormal prediction occur in the prediction.

도 13은 본 발명의 실시예에 따른 예측 결과를 보인 것으로 동일한 비정상 환경에서 에너지 거리를 기준으로 컨셉 드리프트 발생을 확인하여 적응형 예측 모델을 갱신한 경우이다.13 shows a prediction result according to an embodiment of the present invention, when the adaptive prediction model is updated by confirming the concept drift based on the energy distance in the same abnormal environment.

도시된 바와 같이 갱신 횟수가 앞서 도 12 및 13과 비교하여 압도적으로 적은 것을 알 수 있으며, 그 성능 역시 앞서 성능이 좋았던 블라인드 방식보다도 더 높은 것을 확인할 수 있다. As shown, it can be seen that the number of updates is significantly smaller than that of FIGS. 12 and 13, and its performance is also higher than that of the previous blind method.

예를 들어 가장 성능이 좋은 심층 신경망이 적용된 OSGD 학습법(OSGD-D)의 예측 결과를 기준으로 섹션 164의 예측 결과를 비교해 보면, 블라인드 적응 방식의 MAE와 RMSE는 순서대로 4.77, 6.01이었으나 본 발명의 실시예에 따른 방식은 순서대로 4.34, 5.51이므로 본 발명의 실시예에 따른 예측 모델의 예측 성능이 더 뛰어난 것임을 알 수 있고, 갱신 역시 80번에서 14번으로 크게 줄어든 것을 알 수 있다.For example, comparing the prediction results of Section 164 based on the prediction results of the OSGD learning method (OSGD-D) applied with the deep neural network with the best performance, the MAE and RMSE of the blind adaptation method were 4.77 and 6.01 in order, but the results of the present invention Since the method according to the embodiment is 4.34 and 5.51 in order, it can be seen that the predictive performance of the predictive model according to the embodiment of the present invention is superior, and the number of updates is greatly reduced from 80 times to 14 times.

한편, 본 발명의 실시예에 따른 방식의 실용성을 확인하기 위하여 대규모 AVS 시스템에 대해서 100% 부하에서 140%까지 5%씩 부하를 증가시키면서 시뮬레이션 데이터를 수집한 후, 배송 시간, 대기 시간, 환승 시간, 하역 이송 시간, 하중 이송 시간, 정체 차량 수에 대한 6가지 기준으로 예측 없는 라우팅 방식, 예측은 있으나 갱신하지 않는 라우팅 방식, 본 발명의 실시예에 따른 갱신 방식을 적용한 예측 라우팅 방식을 실험하였다.On the other hand, in order to confirm the practicality of the method according to the embodiment of the present invention, simulation data are collected while increasing the load by 5% from 100% load to 140% for a large-scale AVS system, and delivery time, waiting time, and transfer time , unloading transfer time, load transfer time, and six criteria for the number of congested vehicles, a routing method without prediction, a routing method with prediction but no update, and a predictive routing method applying an update method according to an embodiment of the present invention were tested.

도 14는 이러한 실험에 대한 결과를 보인 것으로, 도 14a는 배송 시간에 대한 시뮬레이션 결과이고, 도 14b는 운송 시간에 대한 시뮬레이션 결과이며, 도 14c는 하중 이송 시간에 대한 시뮬레이션 결과이다.Figure 14 shows the results of this experiment, Figure 14a is a simulation result for the delivery time, Figure 14b is a simulation result for the transport time, Figure 14c is a simulation result for the load transfer time.

도시된 바와 같이 비정상 교통 환경에서 갱신되지 않는 예측 모델은 예측이 없는 경우에 비해서 초기 성능은 높지만 결국 부하가 증가하여 컨셉 드리프트가 발생함에 따라 오히려 예측이 없는 경우보다 낮은 성능을 보이게 되었으나, 본 발명의 실시예에 따른 갱신 방식의 예측 라우팅은 부하가 지속적으로 증가함에도 안정적인 결과를 보였음을 알 수 있다.As shown, the prediction model that is not updated in an abnormal traffic environment has higher initial performance than the case without prediction, but eventually shows lower performance than the case without prediction as the load increases and concept drift occurs. It can be seen that the predictive routing of the update method according to the embodiment showed a stable result even when the load continuously increased.

본 명세서에 기술된 다양한 장치 및 구성부는 하드웨어 회로(예를 들어, CMOS 기반 로직 회로), 펌웨어, 소프트웨어 또는 이들의 조합에 의해 구현될 수 있다. 예를 들어, 다양한 전기적 구조의 형태로 트랜지스터, 로직게이트 및 전자회로를 활용하여 구현될 수 있다.The various devices and components described herein may be implemented by hardware circuitry (eg, CMOS-based logic circuitry), firmware, software, or combinations thereof. For example, it may be implemented using transistors, logic gates, and electronic circuits in the form of various electrical structures.

전술된 내용은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.The foregoing may be modified and modified by those skilled in the art without departing from the essential characteristics of the present invention. Therefore, the embodiments disclosed in the present invention are not intended to limit the technical idea of the present invention, but to explain, and the scope of the technical idea of the present invention is not limited by these embodiments. The protection scope of the present invention should be construed according to the claims below, and all technical ideas within the equivalent range should be construed as being included in the scope of the present invention.

110: 모니터링부 120: 컨셉 드리프트 검출부
130: 예측부110: monitoring unit 120: concept drift detection unit
130: prediction unit

Claims

a monitoring unit for collecting observed time-series data on a prediction target;
a prediction unit including a learning module that learns input and output information for a prediction target and a prediction module that is learned by the learning module and provides prediction output information according to an input;
Based on the time series data provided by the monitoring unit, time series prediction error samples of the prediction output information and observation output information of the prediction unit are calculated, and after setting two non-overlapping sliding windows for the calculated time series prediction error samples, each The process of detecting whether concept drift has occurred by comparing energy distances for prediction errors in windows is performed recursively while sliding the windows, thereby confirming the location of concept drift occurrence in the collected time series data, and when concept drift occurs, the prediction An adaptive prediction system to which a concept drift detection device including a concept drift detection unit requesting a prediction module update to a negative learning module is applied.

The method according to claim 1, wherein the concept drift detection unit
a feature selection module for selecting variables used as input and output information in the configuration of a prediction module as feature vectors from the time-series data received from the monitoring unit;
a performance evaluation module that provides the input feature vector selected by the feature selection module to the prediction module and calculates time-series prediction error samples based on the received predicted output vector and the observed output feature vector corresponding to the input feature vector;
Divide the time series prediction error samples received from the performance evaluation module into a comparative prediction error window of size n and a current prediction error window of size m to calculate the energy distance for the error samples included in each window as energy statistics, and use it After calculating the test statistic for validating the null hypothesis and comparing it with the critical value, if the test statistic is greater than the critical value, the null hypothesis is judged to be rejected. An adaptive prediction system to which a concept drift detection device is applied, comprising a drift detection unit provided.

The method according to claim 2, wherein the drift detector divides a prediction error set consisting of time-series prediction error samples received from the performance evaluation module into a comparison prediction error window and a current prediction error window of size n and m, respectively, and calculates each test statistic The process of verifying the null hypothesis by calculating and comparing it with a threshold value is repeated while moving the windows in a sliding manner within the range of the prediction error set. .

The concept drift of claim 3 , wherein the null hypothesis verification is performed by a bootstrap-based hypothesis test, and the null hypothesis is verified based on a statistically significant threshold value calculated by a bootstrap technique for a value of a test statistic. Adaptive prediction system with detection device applied.

The adaptive prediction system according to claim 1 , wherein the learning module of the prediction unit updates the prediction module according to a preset adaptive learning algorithm when the concept drift detection unit receives a request to update the prediction module.

The method according to claim 1, wherein the adaptive learning algorithm applied to the prediction module and the adaptive learning module is a passive-aggressive learning (PAL) learning method, an online stochastic gradient descent (OSGD) learning method (OSGD-L) to which a linear regression model is applied, and a deep neural network An adaptive prediction system applying a concept drift detection device, characterized in that it is one of the applied OSGD learning method (OSGD-D) and the NOLK (Nonlinear Online Learning with Kernel) learning method to which the kernel regression module is applied.

Based on the time series data observed from the prediction target, variables used as input and output information in constructing the prediction model are selected as feature vectors,
Calculate time-series prediction error samples between the predicted output vector obtained through the pre-configured predictive model and the actually observed output vector;
After setting two non-overlapping sliding windows for the calculated time-series prediction error samples, the process of detecting whether or not concept drift has occurred by comparing the energy distances of prediction errors in each window while sliding the windows is recursive. perform,
A concept drift detection apparatus outputting information requesting an update of the prediction model when concept drift occurrence is detected.

The method according to claim 7, wherein the concept drift detection device
a feature selection module for selecting variables used as input and output information in constructing a prediction model from time series data observed from a prediction target as feature vectors;
A performance evaluation module that provides the input feature vector selected by the feature selection module to a pre-prepared prediction model and calculates time-series prediction error samples based on the received predicted output vector and the observed output feature vector corresponding to the input feature vector; ;
Divide the time series prediction error samples received from the performance evaluation module into a comparative prediction error window of size n and a current prediction error window of size m to calculate the energy distance for the error samples included in each window as energy statistics, and use it After calculating the test statistic for validating the null hypothesis and comparing it with the critical value, if the test statistic is greater than the critical value, it is determined that the null hypothesis is rejected. A concept drift detection device comprising a detection unit.

The method according to claim 8, wherein the drift detection unit divides a prediction error set consisting of time-series prediction error samples received from the performance evaluation module into a comparison prediction error window and a current prediction error window of size n and m, respectively, and determines each test statistic Concept drift detection apparatus characterized by repeating the process of verifying the null hypothesis by calculating and comparing it with a threshold value while moving the windows in a sliding manner within the range of the prediction error set.

The concept drift of claim 9 , wherein the null hypothesis verification is performed by a bootstrap-based hypothesis test, and the null hypothesis is verified based on a statistically significant threshold value calculated by a bootstrap technique for a value of a test statistic. detection device.

A preparation step of preparing a prediction module that predicts an output according to an input by learning input and output information for a prediction target;
an observation step of collecting observed time-series data for a prediction target;
a performance evaluation step of calculating time-series prediction error samples of prediction output information and observation output information of the prediction module based on the collected time-series data;
After setting two non-overlapping sliding windows for the time series prediction error samples calculated in the performance evaluation step, the process of detecting whether concept drift has occurred by comparing the energy distances of the prediction errors of each window by sliding the windows a drift detection step performed recursively while doing so;
and an update step of re-learning and updating the prediction module when concept drift occurrence is detected in the drift detection step.

The method according to claim 11, wherein the performance evaluation step selects variables used as input and output information in the configuration of the prediction module from the collected time series data as feature vectors, provides the selected input feature vectors to the prediction module, The prediction method of the adaptive prediction system using the concept drift detection apparatus, characterized in that it further comprises calculating time-series prediction error samples based on the observed output feature vector corresponding to the input feature vector.

The method according to claim 12, wherein the drift detection step
a window setting step of dividing the time series prediction error samples calculated in the performance evaluation step into a comparative prediction error window of size n and a current prediction error window of size m;
an energy distance calculation step of calculating energy distances for error samples included in each window as energy statistics;
a hypothesis verification step of calculating a test statistic for validating the null hypothesis using the calculated energy statistic, comparing the test statistic with a critical value, and determining that the null hypothesis is rejected if the test statistic is greater than the critical value;
an update step of updating the prediction module according to occurrence of drift when the null hypothesis is rejected as a result of the hypothesis verification;
A prediction method of an adaptive prediction system using a concept drift detection apparatus, characterized in that it comprises a regression performing step of moving the positions of the windows in a sliding manner after the hypothesis verification step and then repeating the energy distance calculation step again.

The prediction method of an adaptive prediction system using a concept drift detection apparatus according to claim 13, wherein the performing regression step is completed when the window sliding position reaches a preset range for the time-series prediction error samples.

The concept drift of claim 13 , wherein the hypothesis verification step is performed by a bootstrap-based hypothesis test, and the null hypothesis is verified based on a statistically significant threshold value calculated by the bootstrap technique. A prediction method of an adaptive prediction system using a detection device.

The method according to claim 11, wherein the prediction module is a passive-aggressive learning (PAL) learning method, an online stochastic gradient descent (OSGD) learning method (OSGD-L) applied with a linear regression model, an OSGD learning method (OSGD-D) applied with a deep neural network, a kernel A prediction method of an adaptive prediction system applying a concept drift detection device, characterized in that it includes a prediction model to which one of the adaptive learning algorithms of NOLK (Nonlinear Online Learning with Kernel) learning methods to which a regression module is applied is applied.

an observation step of collecting observed time-series data for a prediction target;
a performance evaluation step of calculating time-series prediction error samples of prediction output information and observation output information of a prediction model in use based on the collected time-series data;
After setting two non-overlapping sliding windows for the time series prediction error samples calculated in the performance evaluation step, the process of detecting whether concept drift has occurred by comparing the energy distances of the prediction errors of each window by sliding the windows a drift detection step performed recursively while doing so;
and an update request step of requesting re-learning of the prediction model when concept drift occurrence is detected in the drift detection step.

The method of claim 17, wherein the performance evaluation step selects variables used as input and output information for predictive model construction from collected time series data as feature vectors, provides the selected input feature vectors to the predictive model, The concept drift detection method of the concept drift detection apparatus, further comprising calculating time-series prediction error samples based on the observed output feature vector corresponding to the input feature vector.

The method according to claim 17, wherein the drift detection step
a window setting step of dividing the time series prediction error samples calculated in the performance evaluation step into a comparative prediction error window of size n and a current prediction error window of size m;
an energy distance calculation step of calculating energy distances for error samples included in each window as energy statistics;
a hypothesis verification step of calculating a test statistic for validating the null hypothesis using the calculated energy statistic, comparing the test statistic with a critical value, and determining that the null hypothesis is rejected if the test statistic is greater than the critical value;
an update request step of requesting an update of the prediction model according to drift occurrence when the null hypothesis is rejected as a result of the hypothesis verification;
The concept drift detection method of the concept drift detection apparatus, characterized in that it comprises a regression execution step of moving the positions of the windows in a sliding manner after the hypothesis verification step and then repeating the energy distance calculation step again.