KR20220049165A

KR20220049165A - 추론 데이터 기반 예측 모델 보정 시스템 및 방법

Info

Publication number: KR20220049165A
Application number: KR1020200132435A
Authority: KR
Inventors: 성병용; 이창주; 이준철; 김종성
Original assignee: 삼성에스디에스 주식회사
Priority date: 2020-10-14
Filing date: 2020-10-14
Publication date: 2022-04-21
Also published as: US20220114478A1

Abstract

추론 데이터 기반 예측 모델 보정 시스템 및 방법이 개시된다. 일 실시예에 따른 예측 모델 보정 시스템은 예측 모델(prediction model)로부터 입력 데이터에 대한 추론 데이터를 수신하여 저장하는 저장 모듈; 상기 추론 데이터를 포함하는 재학습 데이터를 이용하여 재학습 모델에 대한 학습을 수행하는 재학습 모듈; 및 상기 예측 모델 및 상기 재학습 모델의 성능을 비교하고, 상기 비교 결과에 따라 상기 예측 모델을 상기 재학습 모델로 대체하는 판단 모듈을 포함한다.

Description

추론 데이터 기반 예측 모델 보정 시스템 및 방법{SYSTEM AND METHOD FOR ENHANCING INFERENCE MODELS BASED ON PREDICTION DATA}

개시되는 실시예들은 머신 러닝을 활용하여 주어진 입력에 대한 추론값을 생성하기 위한 예측 모델의 정확도 향상 기술과 관련된다.

머신 러닝을 이용한 예측 시스템은 데이터셋을 활용하여 기존의 데이터를 학습하고 이를 이용하여 미래에 대한 예측 내지 추론을 수행하는 시스템이다. 이러한 예측 시스템은 과거 데이터를 이용하여 예측 모델을 구축하고 이를 이용하여 예측을 수행하게 된다. 그러나 환경(위치 또는 시간 등)의 변화로 인하여 입력된 데이터의 특성이 변화할 경우, 과거 데이터를 기반으로 한 예측 시스템의 정확도가 떨어질 수 있다.

이를 보완하기 위하여, 종래에는 주기적인 재학습을 통해 기존의 예측 모델을 업데이트하도록 구성되었다. 그러나 재학습이 가능한 최신 데이터가 축적되고 이를 반영한 새로운 모델이 구성되기까지는 적지 않은 시간이 소요되며, 이 기간 동안에는 정확도가 떨어지는 기존 모델을 활용하여야 하는 문제점이 존재하였다.

개시되는 실시예들은 머신 러닝(machine learning) 기반의 예측 시스템에서 예측 모델의 성능 저하를 최소화하기 위한 기술적인 수단을 제공하기 위한 것이다.

예시적인 실시예에 따르면, 예측 모델(prediction model)로부터 입력 데이터에 대한 추론 데이터를 수신하여 저장하는 저장 모듈; 상기 추론 데이터를 포함하는 재학습 데이터를 이용하여 재학습 모델에 대한 학습을 수행하는 재학습 모듈; 및 상기 예측 모델 및 상기 재학습 모델의 성능을 비교하고, 상기 비교 결과에 따라 상기 예측 모델을 상기 재학습 모델로 대체하는 판단 모듈을 포함하는 예측 모델 보정 시스템이 제공된다.

상기 시스템은, 상기 추론 데이터의 이상을 감지하는 이상 감지 모듈을 더 포함하며, 상기 재학습 모듈은, 상기 이상 감지 모듈에 의하여 상기 이상이 감지되는 경우 상기 재학습 모델에 대한 학습을 수행할 수 있다.

상기 저장 모듈은, 상기 추론 데이터를 기 설정된 단위 기간 별로 그룹화하여 저장할 수 있다.

상기 재학습 모듈은, 상기 예측 모델의 학습 데이터 중 적어도 일부를 상기 추론 데이터로 대체하여 상기 재학습 데이터를 생성할 수 있다.

상기 학습 데이터 및 상기 재학습 데이터의 용량은 동일하게 설정될 수 있다.

상기 시스템은 상기 예측 모델 및 상기 재학습 모델로 상기 입력 데이터를 분배하는 분배 모듈을 더 포함할 수 있다.

상기 판단 모듈은, 상기 분배된 입력 데이터에 대하여 상기 예측 모델로부터 출력되는 제1 추론 데이터, 및 상기 재학습 모델로부터 출력되는 제2 추론 데이터의 예측 정확도를 비교하여 상기 예측 모델을 상기 재학습 모델로 대체할지의 여부를 판단할 수 있다.

다른 예시적인 실시예에 따르면, 하나 이상의 프로세서들, 및 상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비한 컴퓨팅 장치에서 수행되는 방법으로서, 예측 모델(prediction model)로부터 입력 데이터에 대한 추론 데이터를 수신하여 저장하는 저장 단계; 상기 추론 데이터를 포함하는 재학습 데이터를 이용하여 재학습 모델에 대한 학습을 수행하는 재학습 단계; 및 상기 예측 모델 및 상기 재학습 모델의 성능을 비교하고, 상기 비교 결과에 따라 상기 예측 모델을 상기 재학습 모델로 대체하는 판단 단계를 포함하는 예측 모델 보정 방법이 제공된다.

상기 방법은, 상기 추론 데이터의 이상을 감지하는 단계를 더 포함하며, 상기 재학습 단계는, 상기 이상 감지 단계에서 이상이 감지되는 경우 상기 재학습 모델에 대한 학습을 수행하도록 구성될 수 있다.

상기 저장 단계는, 상기 추론 데이터를 기 설정된 단위 기간 별로 그룹화하여 저장하도록 구성될 수 있다.

상기 재학습 단계는, 상기 예측 모델의 학습 데이터 중 적어도 일부를 상기 추론 데이터로 대체하여 상기 재학습 데이터를 생성하도록 구성될 수 있다.

상기 방법은, 상기 예측 모델 및 상기 재학습 모델로 상기 입력 데이터를 분배하는 단계를 더 포함할 수 있다.

상기 판단 단계는, 상기 분배된 입력 데이터에 대하여 상기 예측 모델로부터 출력되는 제1 추론 데이터, 및 상기 재학습 모델로부터 출력되는 제2 추론 데이터의 예측 정확도를 비교하여 상기 예측 모델을 상기 재학습 모델로 대체할지의 여부를 판단할 수 있다.

다른 예시적인 실시예에 따르면, 비일시적 컴퓨터 판독 가능한 저장매체(non-transitory computer readable storage medium)에 저장된 컴퓨터 프로그램으로서, 상기 컴퓨터 프로그램은 하나 이상의 명령어들을 포함하고, 상기 명령어들은 하나 이상의 프로세서들을 갖는 컴퓨팅 장치에 의해 실행될 때, 상기 컴퓨팅 장치로 하여금, 예측 모델(prediction model)로부터 입력 데이터에 대한 추론 데이터를 수신하여 저장하는 저장 단계; 상기 추론 데이터를 포함하는 재학습 데이터를 이용하여 재학습 모델에 대한 학습을 수행하는 재학습 단계; 및 상기 예측 모델 및 상기 재학습 모델의 성능을 비교하고, 상기 비교 결과에 따라 상기 예측 모델을 상기 재학습 모델로 대체하는 판단 단계를 수행하도록 하는, 컴퓨터 프로그램이 제공된다.

개시되는 실시예에 따르면, 예측 모델의 모델 교체 주기가 도래하기 이전 추론 데이터를 이용하여 예측 모델을 재학습하고, 재학습된 모델과 기존 예측 모델의 성능을 비교하여 더 높은 성능의 모델을 예측에 활용함으로써 예측 모델의 성능 저하를 최소화할 수 있다.

도 1은 머신 러닝을 통한 예측 시스템의 동작 과정을 설명하기 위한 예시도
도 2는 일 실시예에 따른 예측 모델 보정 시스템(200)을 설명하기 위한 블록도
도 3 내지 5는 일 실시예에 따른 추론 데이터 수집 및 이를 이용한 재학습 과정을 설명하기 위한 예시도
도 6은 일 실시예에 따른 예측 모델 보정 방법(600)을 설명하기 위한 흐름도
도 7은 예시적인 실시예들에서 사용되기에 적합한 컴퓨팅 장치를 포함하는 컴퓨팅 환경(10)을 예시하여 설명하기 위한 블록도

이하, 도면을 참조하여 본 발명의 구체적인 실시 형태를 설명하기로 한다. 이하의 상세한 설명은 본 명세서에서 기술된 방법, 장치 및/또는 시스템에 대한 포괄적인 이해를 돕기 위해 제공된다. 그러나 이는 예시에 불과하며 본 발명은 이에 제한되지 않는다.

본 발명의 실시예들을 설명함에 있어서, 본 발명과 관련된 공지기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다. 그리고, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로써 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다. 상세한 설명에서 사용되는 용어는 단지 본 발명의 실시예들을 기술하기 위한 것이며, 결코 제한적이어서는 안 된다. 명확하게 달리 사용되지 않는 한, 단수 형태의 표현은 복수 형태의 의미를 포함한다. 본 설명에서, "포함" 또는 "구비"와 같은 표현은 어떤 특성들, 숫자들, 단계들, 동작들, 요소들, 이들의 일부 또는 조합을 가리키기 위한 것이며, 기술된 것 이외에 하나 또는 그 이상의 다른 특성, 숫자, 단계, 동작, 요소, 이들의 일부 또는 조합의 존재 또는 가능성을 배제하도록 해석되어서는 안 된다.

도 1은 머신 러닝을 통한 예측 시스템의 동작 과정을 설명하기 위한 예시도이다. 머신 러닝은 크게 두 단계로 나누어진다. 첫 번째는 대량의 데이터 셋을 이용하여 예측 모델을 반복적으로 학습하는 학습 단계이다. 두 번째는 학습된 예측 모델을 이용하여 입력된 데이터 또는 이벤트로부터 추론(prediction)을 수행하여 추론 결과 또는 예측 결과를 도출하는 추론 단계이다. 이와 같이, 예측 시스템은 학습 단계에서 개발된 모델을 이용하여 주어진 입력에 대한 예측치를 제공하는 데 목적이 있다.

예측 시스템은 고속, 대량 데이터 처리를 위한 저 지연, 하이 쓰루풋(high throughputs), 그리고 추론에 사용되는 예측 모델의 정확도 유지를 필요로 한다. 대부분의 예측 모델의 성능 저하는 왜도(skewness), 이상치(outlier) 및 개념 드리프트(concept drift)의 형태로 나타난다. 일반적으로 예측 모델의 정확도는 시간이 흐를 수록 저하되는 경향이 있다. 따라서 효과적으로 예측 모델의 정확도를 유지하기 위한 방법이 필요하다.

도 2는 일 실시예에 따른 예측 모델 보정 시스템(200)을 설명하기 위한 블록도이다. 일 실시예에 따른 예측 모델 보정 시스템(200)은 앞서 설명한 예측 시스템에서 사용되는 예측 모델(prediction model)의 모델 성능 저하를 방지하기 위한 시스템이다. 이때 상기 예측 모델은 주어진 데이터 또는 이벤트에 대한 추론을 통하여 추론 데이터(예측 결과)를 도출하기 위한 시스템이다. 도시된 바와 같이, 일 실시예에 따른 예측 모델 보정 시스템(200)은 이상 감지 모듈(202), 저장 모듈(204), 재학습 모듈(206), 분배 모듈(208) 및 판단 모듈(210)을 포함한다.

이상 감지 모듈(202)은 상기 예측 모델로부터 도출되는 추론 데이터의 이상을 감지한다. 추론 데이터에서 이상이 감지되었다는 것은 상기 예측 모델의 예측 정확도가 저하되었다는 것을 의미한다. 일 실시예에서, 이상 감지 모듈(202)은 추론 데이터로부터 일정 수준 이상의 왜도(skewness), 이상치(outlier) 및 개념 드리프트(concept drift)를 감지하는 경우 상기 추론 데이터의 이상이 발생한 것으로 판단할 수 있다.

저장 모듈(204)은 상기 예측 모델로부터 도출되는 상기 추론 데이터를 수신하여 저장한다. 일 실시예에서, 저장 모듈(204)은 상기 예측 모델의 학습에 사용된 학습 데이터와 동일한 데이터 형식을 갖도록 상기 추론 데이터를 저장한다. 즉, 저장 모듈(204)에 저장되는 상기 추론 데이터는 예측 모델로 입력된 입력값 을 포함할 수 있다. 이와 같이 저장된 추론 데이터는 이상 감지 모듈(202)의 이상 감지 및 재학습 모듈(206)에 의한 재학습 모델의 학습에 사용된다.

일 실시예에서, 저장 모듈(204)은 상기 추론 데이터를 기 설정된 단위 기간 별로 그룹화하여 저장할 수 있다. 다시 말해, 저장 모듈(204)은 상기 추론 데이터를 기 설정된 단위 기간 별로 미니 배치(mini-batch) 형태로 저장할 수 있으며, 후술할 재학습 모듈(206)은 상기 그룹 단위로 저장된 추론 데이터를 재학습 모델의 재학습에 활용할 수 있다.

재학습 모듈(206)은 상기 추론 데이터를 포함하는 재학습 데이터를 이용하여 재학습 모델에 대한 학습을 수행한다. 여기서 상기 재학습 모델은 전술한 예측 모델과 동일한 구조를 가지는 기계 학습 모델일 수 있다. 일 실시예에서, 재학습 모듈(206)은 이상 감지 모듈(202)에 의하여 추론 데이터의 이상이 감지되는 경우 상기 재학습 모델에 대한 학습을 수행할 수 있다. 추론 데이터에 이상이 발생했다는 것은, 예측 모델의 학습에 사용된 과거 데이터가 더 이상 미래를 예측하는 데 설명력이 떨어진다는 의미이다. 이를 해결하기 위한 가장 간단한 방법은 이상 발생시 최신 데이터를 업데이트하여 예측 모델을 재구성하는 방법이다. 그러나 이 방법은 최신 데이터가 확보되고 이를 이용하여 예측 모델을 업데이트할 때까지 시간이 소요되며, 이 기간 동안은 이미 성능이 저하된 기존의 모델을 그대로 사용하여야 하는 문제점이 있다. 이를 히결하기 위하여, 개시되는 실시예들에서는 최신 데이터가 확보될 때 까지 예측 모델로부터 도출되는 추론 데이터를 모델링 데이터로 활용함으로써 예측 모델의 성능 저하에 대응하도록 구성된다.

일 실시예에서, 재학습 모듈(206)은 상기 예측 모델의 학습 데이터 중 적어도 일부를 상기 추론 데이터로 대체하여 상기 재학습 데이터를 생성할 수 있다. 예를 들어, 재학습 모듈은(206)은 저장 모듈(204)에 미니 배치 형태로 저장된 추론 데이터 중 하나 이상의 배치(batch)를 상기 학습 데이터에 추가하고, 추가된 추론 데이터 수 만큼 가장 오래된 학습 데이터를 제외하는 무빙 윈도우(moving window) 방식을 사용하여 상기 재학습 데이터를 생성할 수 있다. 이 경우 상기 학습 데이터 및 상기 재학습 데이터의 용량은 동일하게 설정된다. 이와 같이 학습 데이터와 재학습 데이터의 데이터 수를 동일하게 구성할 경우, 이후의 예측 모델과 재학습 모델의 성능 평가에 있어 데이터 수 증가에 따른 모델 성능 향상 바이어스를 방지할 수 있다.

다음으로, 분배 모듈(208)은 상기 예측 모델 및 상기 재학습 모델로 상기 입력 데이터를 분배한다. 실시예에 따라, 분배 모듈은 입력 데이터를 기 설정된 분배 비율에 따라 분배하여 상기 예측 모델 및 상기 재학습 모델로 분배하거나, 또는 동일한 입력 데이터를 상기 예측 모델 및 상기 재학습 모델로 함께 전달할 수 있다.

일 실시예에서, 분배 모듈(208)은 Pub/Sub 구조를 이용하여 상기 입력 데이터를 분배할 수 있다. Pub/Sub 구조에서 입력 데이터는 토픽 형태로 저장되며, 이는 예측 모델 및 재학습 모델과 연결된 서빙 모듈(Serving module)의 토픽에 등록되어 각각 추론 결과를 생성하게 된다.

다음으로, 판단 모듈(210)은 상기 예측 모델 및 상기 재학습 모델의 성능을 비교하고, 상기 비교 결과에 따라 상기 예측 모델을 상기 재학습 모델로 대체한다. 판단 모듈(210)은 상기 분배된 입력 데이터에 대하여 상기 예측 모델로부터 출력되는 제1 추론 데이터, 및 상기 재학습 모델로부터 출력되는 제2 추론 데이터의 예측 정확도를 비교하여 상기 예측 모델을 상기 재학습 모델로 대체할지의 여부를 판단할 수 있다.

일 실시예에서, 판단 모듈(210)은 A/B 테스팅 방법을 이용하여 예측 모델과 재학습 모델의 성능을 비교할 수 있다. 구체적으로 분배 모듈(208)은 동일한 입력 데이터를 각각 예측 모델과 재학습 모델로 분배하고, 판단 모듈(210)은 상기 동일한 입력 데이터에 대한 예측 모델과 재학습 모델 각각의 추론 데이터를 비교하여 이상(anomaly)이 더 적게 발생하는 모델의 성능이 더 높은 것으로 판단할 수 있다. 만약 재학습 모델의 성능이 예측 모델보다 낮은 것으로 판단되는 경우, 판단 모듈(210)은 기존의 예측 모델을 그대로 유지할 수 있다. 그러나 이와 달리 재학습 모델의 성능이 예측 모델보다 높은 경으로 판단되는 경우, 판단 모듈(210)은 예측 모델을 상기 재학습 모델로 대체할 수 있다.

도 3 내지 5는 일 실시예에 따른 추론 데이터 수집 및 이를 이용한 재학습 과정을 설명하기 위한 예시도이다. 도 3 내지 도 5에서, 평행한 두 개의 가로줄 중 윗줄은 입력 데이터, 아랫줄은 입력 데이터에 대한 결과 데이터를 각각 의미하며, 가로축은 시간의 흐름을 의미한다. 입력 데이터와 결과 데이터 간에는 n 만큼의 시간 차이가 있는 것으로 가정한다.

도 3과 같이, 예측 모델을 이용하여 t 시점에서 t+n 시점을 예측한다고 가정하자. 이 경우 상기 예측 모델을 만드는 데 사용할 수 있는 데이터는 t-n 시점까지의 데이터이다(도 3에서 “모델 데이터”로 표시). 만약 n이 모델 업데이트의 최적 주기라고 가정하면, t에서 t+n 시점 사이에는 동일한 모델을 사용하게 된다. 그러나 전술한 바와 같이 모델의 성능은 시간이 지날 수록 떨어지는 것이 일반적이므로, t에서 t+n 시점 사이, 즉 모델 업데이트 전이라도 예측 모델의 성능 저하를 보완할 방법이 필요하다.

이를 위하여, 개시되는 실시예에서는 도 4에 도시된 것과 같이 도 3의 모델 데이터에 t-n 시점에서 t 시점까지의 추론 데이터를 부가하고 대신 오래된 데이터를 제거하는 moving window 방식을 이용하여 재학습 데이터를 생성하고, 이를 이용하여 재학습 모델을 생성하도록 구성된다. 이때 상기 추론 데이터는 실제 데이터가 아닌 예측 모델에 의하여 예측된 데이터임에 유의한다. 입력 데이터의 실제 결과값을 얻기까지는 n의 시간차가 있으므로, t 시점에서는 t-n 시점 이후의 실제 결과값을 알 수 없기 때문이다. 만약 이와 같이 생성된 재학습 모델의 성능이 기존 예측 모델보다 우수한 경우 예측 모델은 재학습 모델로 대체된다.

이후, 모델 업데이트 시점인 t+n 시점에서는 도 5에 도시된 바와 같이, t t 시점까지의 데이터를 이용하여 새로운 예측 모델을 구성하게 된다.

도 6은 일 실시예에 따른 예측 모델 보정 방법(600)을 설명하기 위한 흐름도이다. 도시된 방법은 하나 이상의 프로세서들, 및 상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비한 컴퓨팅 장치, 예컨대 전술한 예측 모델 보정 시스템(200)에서 수행될 수 있다. 도시된 흐름도에서는 상기 방법 또는 과정을 복수 개의 단계로 나누어 기재하였으나, 적어도 일부의 단계들은 순서를 바꾸어 수행되거나, 다른 단계와 결합되어 함께 수행되거나, 생략되거나, 세부 단계들로 나뉘어 수행되거나, 또는 도시되지 않은 하나 이상의 단계가 부가되어 수행될 수 있다.

단계 602에서, 예측 모델 보정 시스템(200)의 저장 모듈(204)은 예측 모델(prediction model)로부터 입력 데이터에 대한 추론 데이터를 수신하여 저장한다.

단계 604에서, 재학습 모듈(206)은 상기 추론 데이터를 포함하는 재학습 데이터를 이용하여 재학습 모델에 대한 학습을 수행한다.

단계 606에서, 판단 모듈(210)은 상기 예측 모델 및 상기 재학습 모델의 성능을 비교하고, 상기 비교 결과에 따라 상기 예측 모델을 상기 재학습 모델로 대체한다.

도 7은 예시적인 실시예들에서 사용되기에 적합한 컴퓨팅 장치를 포함하는 컴퓨팅 환경(10)을 예시하여 설명하기 위한 블록도이다. 도시된 실시예에서, 각 컴포넌트들은 이하에 기술된 것 이외에 상이한 기능 및 능력을 가질 수 있고, 이하에 기술되지 것 이외에도 추가적인 컴포넌트를 포함할 수 있다.

도시된 컴퓨팅 환경(10)은 컴퓨팅 장치(12)를 포함한다. 일 실시예에서, 컴퓨팅 장치(12)는 본 발명의 실시예들에 따른 예측 모델 보정 시스템(200)일 수 있다. 컴퓨팅 장치(12)는 적어도 하나의 프로세서(14), 컴퓨터 판독 가능 저장 매체(16) 및 통신 버스(18)를 포함한다. 프로세서(14)는 컴퓨팅 장치(12)로 하여금 앞서 언급된 예시적인 실시예에 따라 동작하도록 할 수 있다. 예컨대, 프로세서(14)는 컴퓨터 판독 가능 저장 매체(16)에 저장된 하나 이상의 프로그램들을 실행할 수 있다. 상기 하나 이상의 프로그램들은 하나 이상의 컴퓨터 실행 가능 명령어를 포함할 수 있으며, 상기 컴퓨터 실행 가능 명령어는 프로세서(14)에 의해 실행되는 경우 컴퓨팅 장치(12)로 하여금 예시적인 실시예에 따른 동작들을 수행하도록 구성될 수 있다.

컴퓨터 판독 가능 저장 매체(16)는 컴퓨터 실행 가능 명령어 내지 프로그램 코드, 프로그램 데이터 및/또는 다른 적합한 형태의 정보를 저장하도록 구성된다. 컴퓨터 판독 가능 저장 매체(16)에 저장된 프로그램(20)은 프로세서(14)에 의해 실행 가능한 명령어의 집합을 포함한다. 일 실시예에서, 컴퓨터 판독 가능 저장 매체(16)는 메모리(랜덤 액세스 메모리와 같은 휘발성 메모리, 비휘발성 메모리, 또는 이들의 적절한 조합), 하나 이상의 자기 디스크 저장 디바이스들, 광학 디스크 저장 디바이스들, 플래시 메모리 디바이스들, 그 밖에 컴퓨팅 장치(12)에 의해 액세스되고 원하는 정보를 저장할 수 있는 다른 형태의 저장 매체, 또는 이들의 적합한 조합일 수 있다.

통신 버스(18)는 프로세서(14), 컴퓨터 판독 가능 저장 매체(16)를 포함하여 컴퓨팅 장치(12)의 다른 다양한 컴포넌트들을 상호 연결한다.

컴퓨팅 장치(12)는 또한 하나 이상의 입출력 장치(24)를 위한 인터페이스를 제공하는 하나 이상의 입출력 인터페이스(22) 및 하나 이상의 네트워크 통신 인터페이스(26)를 포함할 수 있다. 입출력 인터페이스(22) 및 네트워크 통신 인터페이스(26)는 통신 버스(18)에 연결된다. 입출력 장치(24)는 입출력 인터페이스(22)를 통해 컴퓨팅 장치(12)의 다른 컴포넌트들에 연결될 수 있다. 예시적인 입출력 장치(24)는 포인팅 장치(마우스 또는 트랙패드 등), 키보드, 터치 입력 장치(터치패드 또는 터치스크린 등), 음성 또는 소리 입력 장치, 다양한 종류의 센서 장치 및/또는 촬영 장치와 같은 입력 장치, 및/또는 디스플레이 장치, 프린터, 스피커 및/또는 네트워크 카드와 같은 출력 장치를 포함할 수 있다. 예시적인 입출력 장치(24)는 컴퓨팅 장치(12)를 구성하는 일 컴포넌트로서 컴퓨팅 장치(12)의 내부에 포함될 수도 있고, 컴퓨팅 장치(12)와는 구별되는 별개의 장치로 컴퓨팅 장치(104)와 연결될 수도 있다.

한편, 본 발명의 실시예는 본 명세서에서 기술한 방법들을 컴퓨터상에서 수행하기 위한 프로그램, 및 상기 프로그램을 포함하는 컴퓨터 판독 가능 기록매체를 포함할 수 있다. 상기 컴퓨터 판독 가능 기록매체는 프로그램 명령, 로컬 데이터 파일, 로컬 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나, 또는 컴퓨터 소프트웨어 분야에서 통상적으로 사용 가능한 것일 수 있다. 컴퓨터 판독 가능 기록매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광 기록 매체, 및 롬, 램, 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 상기 프로그램의 예는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함할 수 있다.

이상에서 본 발명의 대표적인 실시예들을 상세하게 설명하였으나, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 상술한 실시예에 대하여 본 발명의 범주에서 벗어나지 않는 한도 내에서 다양한 변형이 가능함을 이해할 것이다. 그러므로 본 발명의 권리범위는 설명된 실시예에 국한되어 정해져서는 안 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.

이상에서 본 발명의 대표적인 실시예들을 상세하게 설명하였으나, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 상술한 실시예에 대하여 본 발명의 범주에서 벗어나지 않는 한도 내에서 다양한 변형이 가능함을 이해할 것이다. 그러므로 본 발명의 권리범위는 설명된 실시예에 국한되어 정해져서는 안 되며, 후술하는 특허청구범위 뿐만 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.

200: 예측 모델 보정 시스템
202: 이상 감지 모듈
204: 저장 모듈
206: 재학습 모듈
208: 분배 모듈
210: 판단 모듈

Claims

예측 모델(prediction model)로부터 입력 데이터에 대한 추론 데이터를 수신하여 저장하는 저장 모듈;
상기 추론 데이터를 포함하는 재학습 데이터를 이용하여 재학습 모델에 대한 학습을 수행하는 재학습 모듈; 및
상기 예측 모델 및 상기 재학습 모델의 성능을 비교하고, 상기 비교 결과에 따라 상기 예측 모델을 상기 재학습 모델로 대체하는 판단 모듈을 포함하는 예측 모델 보정 시스템.
청구항 1에 있어서,
상기 추론 데이터의 이상을 감지하는 이상 감지 모듈을 더 포함하며,
상기 재학습 모듈은,
상기 이상 감지 모듈에 의하여 상기 이상이 감지되는 경우 상기 재학습 모델에 대한 학습을 수행하는, 예측 모델 보정 시스템.
청구항 1에 있어서,
상기 저장 모듈은,
상기 추론 데이터를 기 설정된 단위 기간 별로 그룹화하여 저장하는, 예측 모델 보정 시스템.
청구항 3에 있어서,
상기 재학습 모듈은,
상기 예측 모델의 학습 데이터 중 적어도 일부를 상기 추론 데이터로 대체하여 상기 재학습 데이터를 생성하는, 예측 모델 보정 시스템.
청구항 3에 있어서,
상기 학습 데이터 및 상기 재학습 데이터의 용량은 동일하게 설정되는, 예측 모델 보정 시스템.
청구항 1에 있어서,
상기 예측 모델 및 상기 재학습 모델로 상기 입력 데이터를 분배하는 분배 모듈을 더 포함하는, 예측 모델 보정 시스템.
청구항 6에 있어서,
상기 판단 모듈은,
상기 분배된 입력 데이터에 대하여 상기 예측 모델로부터 출력되는 제1 추론 데이터, 및 상기 재학습 모델로부터 출력되는 제2 추론 데이터의 예측 정확도를 비교하여 상기 예측 모델을 상기 재학습 모델로 대체할지의 여부를 판단하는, 예측 모델 보정 시스템.
하나 이상의 프로세서들, 및
상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비한 컴퓨팅 장치에서 수행되는 방법으로서,
예측 모델(prediction model)로부터 입력 데이터에 대한 추론 데이터를 수신하여 저장하는 저장 단계;
상기 추론 데이터를 포함하는 재학습 데이터를 이용하여 재학습 모델에 대한 학습을 수행하는 재학습 단계; 및
상기 예측 모델 및 상기 재학습 모델의 성능을 비교하고, 상기 비교 결과에 따라 상기 예측 모델을 상기 재학습 모델로 대체하는 판단 단계를 포함하는 예측 모델 보정 방법.
청구항 8에 있어서,
상기 추론 데이터의 이상을 감지하는 단계를 더 포함하며,
상기 재학습 단계는, 상기 이상 감지 단계에서 이상이 감지되는 경우 상기 재학습 모델에 대한 학습을 수행하는, 예측 모델 보정 방법.
청구항 8에 있어서,
상기 저장 단계는,
상기 추론 데이터를 기 설정된 단위 기간 별로 그룹화하여 저장하는, 예측 모델 보정 방법.
청구항 10에 있어서,
상기 재학습 단계는,
상기 예측 모델의 학습 데이터 중 적어도 일부를 상기 추론 데이터로 대체하여 상기 재학습 데이터를 생성하는, 예측 모델 보정 방법.
청구항 10에 있어서,
상기 학습 데이터 및 상기 재학습 데이터의 용량은 동일하게 설정되는, 예측 모델 보정 방법.
청구항 8에 있어서,
상기 예측 모델 및 상기 재학습 모델로 상기 입력 데이터를 분배하는 단계를 더 포함하는, 예측 모델 보정 방법.
청구항 13에 있어서,
상기 판단 단계는,
상기 분배된 입력 데이터에 대하여 상기 예측 모델로부터 출력되는 제1 추론 데이터, 및 상기 재학습 모델로부터 출력되는 제2 추론 데이터의 예측 정확도를 비교하여 상기 예측 모델을 상기 재학습 모델로 대체할지의 여부를 판단하는, 예측 모델 보정 방법.
비일시적 컴퓨터 판독 가능한 저장매체(non-transitory computer readable storage medium)에 저장된 컴퓨터 프로그램으로서,
상기 컴퓨터 프로그램은 하나 이상의 명령어들을 포함하고, 상기 명령어들은 하나 이상의 프로세서들을 갖는 컴퓨팅 장치에 의해 실행될 때, 상기 컴퓨팅 장치로 하여금,
예측 모델(prediction model)로부터 입력 데이터에 대한 추론 데이터를 수신하여 저장하는 저장 단계;
상기 추론 데이터를 포함하는 재학습 데이터를 이용하여 재학습 모델에 대한 학습을 수행하는 재학습 단계; 및
상기 예측 모델 및 상기 재학습 모델의 성능을 비교하고, 상기 비교 결과에 따라 상기 예측 모델을 상기 재학습 모델로 대체하는 판단 단계를 수행하도록 하는, 컴퓨터 프로그램.