KR102504230B1 - 머신러닝의 드리프트 현상 탐지를 이용한 재훈련 시스템 및 방법 - Google Patents

머신러닝의 드리프트 현상 탐지를 이용한 재훈련 시스템 및 방법 Download PDF

Info

Publication number
KR102504230B1
KR102504230B1 KR1020220070149A KR20220070149A KR102504230B1 KR 102504230 B1 KR102504230 B1 KR 102504230B1 KR 1020220070149 A KR1020220070149 A KR 1020220070149A KR 20220070149 A KR20220070149 A KR 20220070149A KR 102504230 B1 KR102504230 B1 KR 102504230B1
Authority
KR
South Korea
Prior art keywords
data
drift
result
model
learning
Prior art date
Application number
KR1020220070149A
Other languages
English (en)
Inventor
차병래
김채윤
박진영
Original Assignee
제노테크 주식회사
광주과학기술원
박진영
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 제노테크 주식회사, 광주과학기술원, 박진영 filed Critical 제노테크 주식회사
Priority to KR1020220070149A priority Critical patent/KR102504230B1/ko
Application granted granted Critical
Publication of KR102504230B1 publication Critical patent/KR102504230B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Strategic Management (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Operations Research (AREA)
  • Data Mining & Analysis (AREA)
  • Tourism & Hospitality (AREA)
  • Game Theory and Decision Science (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Development Economics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

본 발명은 학습된 머신러닝의 학습 모델과 학습 데이터에 대한 드리프트 현상을 탐지한 후 재학습을 할 수 있도록 수행하여 많은 컴퓨팅 자원과 소요되는 학습시간을 절약할 수 있는 머신러닝의 드리프트 현상 탐지를 이용한 재훈련 시스템 및 방법에 관한 것이다.
본 발명은 입력데이터로부터 객체를 검출하여 인식한 후 드리프트 발생여부를 판단하여 상기 입력데이터에 대한 학습모델을 재훈련시키는 머신러닝의 드리프트 현상 탐지를 이용한 재훈련시스템에 있어서, 상기 입력데이터로부터 검출 대상을 특정하기 위해 상기 입력데이터 내에서 바운딩 박스를 통하여 객체를 탐지하여 인식하기 위한 객체탐지부(200)와, 미리 학습된 학습모델을 통해 상기 인식된 객체를 예측하여 상기 인식된 객체의 종류, 위치, 진실성 중 하나 이상을 포함한 예측데이터를 생성하기 위한 예측결과부(300)와, 미리 기 저장된 기존결과데이터를 통해 이상적인 결과에 대한 기준값을 설정하고, 상기 예측데이터와 상기 기존결과데이터를 비교하였을 때 상기 이상적인 결과에 대한 기준값과 상기 예측데이터의 결과에 대한 값 사이에 오차가 발생할 경우에만 드리프트가 발생한 것으로 판단하기 위한 드리프트판단부(400)와, 상기 드리프트가 발생한 것으로 판단한 경우에 상기 기존결과데이터와 상기 예측데이터의 P-value를 계산하고 기 설정된 기준값과 비교하여 상기 P-value이 기 설정된 기준값보다 낮으면 통계적 유의성이 커져 데이터드리프트 발생으로 판단하고, 미리 저장된 상기 기존결과데이터의 특징과 결과가 선형관계에 대비하여 상기 예측데이터의 특징과 결과에 대한 관계가 비선형이면 컨셉드리프트 발생으로 판단하기 위한 드리프트분석부(500)와, 상기 데이터드리프트가 발생하였을 경우에 상기 입력데이터에 관련된 데이터를 수집하여 재학습하고, 상기 컨셉드리프트가 발생하였을 경우에 상기 입력데이터에 관련된 데이터를 수집하고 변수를 가공하여 상기 학습모델을 재훈련하여 재학습모델을 생성하기 위한 재훈련부(600)를 포함하여 구성된다.

Description

머신러닝의 드리프트 현상 탐지를 이용한 재훈련 시스템 및 방법{RETRAINGIN SYSTEM USING DRIFT DETECTION OF MACHINE LEARNING AND METHOD THEREOF}
본 발명은 머신러닝의 드리프트 현상 탐지를 이용한 재훈련 시스템 및 방법에 관한 것으로, 보다 상세하게는 학습된 머신러닝의 학습 모델과 학습 데이터에 대한 드리프트 현상을 탐지한 후 재학습을 할 수 있도록 수행하여 많은 컴퓨팅 자원과 소요되는 학습시간을 절약할 수 있는 머신러닝의 드리프트 현상 탐지를 이용한 재훈련 시스템 및 방법에 관한 것이다.
일반적으로 프로그램은 목적을 가지고 만들어지며, 컴퓨터를 이용해서 어느 문제를 푸는 경우, 컴퓨터에 해법, 처리순서를 정밀하게 지시해야 한다. 즉, 프로그램은 프로그래머가 의도한 것 이상의 성능을 내지 못한다.
그에 반해, 머신러닝은 컴퓨터가 주어진 데이터를 이용하여 스스로 학습하는 것을 말하며, 경험적 데이터를 기반으로 학습하고 예측을 수행하고 스스로의 성능을 향상시키는 시스템과 이를 위한 알고리즘을 연구하고 구축하는 기술이다.
머신러닝은 학습데이터를 이용하여 학습모델을 개발한 경우에 성능 향상을 위해 학습 데이터를 추가 수집하여 학습모델을 업데이트시키는 작업이 필수적이다.
머신러닝 학습모델의 업데이트 방법은, 공개특허 제10-2022-0063501호(공개일자: 2022년 05월 17일)에 기재된 바와 같이, 머신러닝 학습모델의 업데이트 방법에 있어서, 업데이트장치의 수집부가 학습데이터를 수집하는 단계와, 업데이트장치의 선별부가 수집된 학습데이터를 선별하고, 라벨링부가 선별된 학습데이터를 리라벨링하는 단계 및 업데이트장치의 학습부가 리라벨링된 학습데이터에 기초하여 머신러닝 학습모델을 업데이트하는 단계를 포함할 수 있다.
최근에는 머신러닝의 세부 방법론 중 하나로 인공신경망을 응용한 기술이 가장 뛰어난 성능을 보이고 있다.
인공신경망은 인간의 사고를 모방하는 컴퓨팅 시스템의 총칭으로, 머신러닝의 세부 방법론 중 하나로, 기초 컴퓨팅 단위인 뉴런(neuron)이 다수개 연결된 망의 형태이다. 즉, 인공신경망은 다수개의 뉴런이 가중된 링크(weighted link)로 연결된 형태이며, 가중된 링크(weighted link)는 주어진 환경에 적응할 수 있도록 가중치를 조정할 수 있다.
인공신경망은 훈련 데이터에 의존하여 학습을 수행하고, 시간이 지나면서 자체 정확도를 개선한다. 이러한 학습 알고리즘이 고도의 정확도를 얻기 위해 베이즈 추론에 바탕을 둔 패턴 인식 기능을 이용해 오류를 스스로 교정하면서 예측의 정확도를 높여 나갈 수 있다.
그러나, 머신러닝은 한번 학습된 모델이 최근 테스트 데이터에 관하여 유의미한 결과를 내고 있다고 하더라도 이후에 시간이 지난 테스트 데이터에서도 동일한 결과가 나올지는 알 수 없다. 그리고 시간이 지난 테스트 데이터에서 원하는 결과가 나타나지 않는다면 이 모델은 재학습이 필요할 것이다.
즉, 머신러닝은 시간 경과에 따른 학습모델과 학습 데이터 측면의 드리프트 현상이 발생함과 동시에 머신러닝의 성능이 퇴화하게 된다.
드리프트 현상은 모델 성능을 변화시켜 예측 분석 프로젝트 등에 혼란을 주면서 기업에 막대한 재정적 손실은 물론 고객경험까지 저하시키는 문제점이 있다.
이에, 머신러닝의 드리프트 현상을 효율적으로 사전에 탐지하여 해결할 수 있는 방안이 요구되고 있는 실정이다.
본 발명은 상술한 문제점을 해결하기 위해 제안된 것으로, 학습된 머신러닝이 새로운 데이터를 통해 얻은 예측결과와 기존결과를 비교하여 시간이 경과함에 따른 학습된 머신러닝의 학습 모델과 학습 데이터에 대한 드리프트 현상을 탐지할 수 있는 머신러닝의 드리프트 현상 탐지를 이용한 재훈련 시스템 및 방법을 제공하는 목적이 있다.
또한, 드리프트 현상이 발생한 머신러닝의 재학습을 할 수 있도록 구축하는 머신러닝의 머신러닝의 드리프트 현상 탐지를 이용한 재훈련 시스템 및 방법을 제공하는 목적이 있다.
본 발명이 해결하려는 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기의 목적을 달성하기 위한 본 발명에 의한 머신러닝의 드리프트 현상 탐지를 이용한 재훈련 시스템 및 방법은, 입력데이터로부터 객체를 검출하여 인식한 후 드리프트 발생여부를 판단하여 상기 입력데이터에 대한 학습모델을 재훈련시키는 머신러닝의 드리프트 현상 탐지를 이용한 재훈련시스템에 있어서, 상기 입력데이터로부터 검출 대상을 특정하기 위해 상기 입력데이터 내에서 바운딩 박스를 통하여 객체를 탐지하여 인식하기 위한 객체탐지부(200)와, 미리 학습된 학습모델을 통해 상기 인식된 객체를 예측하여 상기 인식된 객체의 종류, 위치, 진실성 중 하나 이상을 포함한 예측데이터를 생성하기 위한 예측결과부(300)와, 미리 기 저장된 기존결과데이터를 통해 이상적인 결과에 대한 기준값을 설정하고, 상기 예측데이터와 상기 기존결과데이터를 비교하였을 때 상기 이상적인 결과에 대한 기준값과 상기 예측데이터의 결과에 대한 값 사이에 오차가 발생할 경우에만 드리프트가 발생한 것으로 판단하기 위한 드리프트판단부(400)와, 상기 드리프트가 발생한 것으로 판단한 경우에 상기 기존결과데이터와 상기 예측데이터의 P-value를 계산하여 상기 P-value이 기 설정된 기준값보다 낮으면 통계적 유의성이 커져 데이터드리프트 발생으로 판단하고, 미리 저장된 상기 기존결과데이터의 특징과 결과의 선형관계에 대비하여 상기 예측데이터의 특징과 결과에 대한 관계가 비선형이면 컨셉드리프트 발생으로 판단하기 위한 드리프트분석부(500)와, 상기 데이터드리프트가 발생하였을 경우에 상기 입력데이터에 관련된 데이터를 수집하여 재학습하고, 상기 컨셉드리프트가 발생하였을 경우에 상기 입력데이터에 관련된 데이터를 수집하고 변수를 가공하여 상기 학습모델을 재훈련하여 재학습모델을 생성하기 위한 재훈련부(600)를 포함하여 구성된다.
일 실시예로, 상기 재훈련부(600)는, 상기 입력데이터에 관련된 데이터를 수집하기 위한 데이터수집수단(610)과, 상기 수집된 수집데이터를 통해 상기 학습모델을 재훈련하여 재학습모델을 생성하기 위한 모델학습수단(630)과, 상기 재학습모델을 저장하기 위한 모델저장수단(640)을 포함하여 구성되는 것이 바람직하다.
일 실시예로, 상기 재훈련부(600)는, 상기 드리프트분석부(500)에서 컨셉드리프트 발생으로 판단된 경우에, 상기 수집된 수집데이터를 이용하여 변수를 추출하기 위한 변수가공수단(620)을 포함하고, 상기 모델학습수단(630)은, 상기 변수를 이용하여 머신러닝을 통해 상기 학습모델을 재훈련하여 재학습모델을 생성할 수 있다.
일 실시예로, 상기 재훈련부(600)는, 상기 수집데이터 중 비학습된 데이터를 입력받아 상기 재학습모델을 통해 결과를 예측하고, 상기 예측된 결과에 따라 정확도를 측정하여 상기 재학습모델의 정확도를 평가하기 위한 모델평가수단(650)을 더 포함하여 구성될 수 있다.
본 발명에 있어서, 컴퓨팅 시스템에 의해 수행되는 머신러닝의 드리프트 현상 탐지를 이용한 재훈련 방법에 있어서, 입력데이터로부터 검출 대상을 특정하기 위해 상기 입력데이터 내에서 바운딩 박스를 통하여 객체를 탐지하여 인식하는 객체탐지단계와, 미리 학습된 학습모델을 통해 상기 인식된 객체를 예측하여 상기 인식된 객체의 종류, 위치, 진실성 중 하나 이상을 포함한 예측데이터를 생성하는 예측결과단계와, 미리 기 저장된 기존결과데이터를 통해 이상적인 결과에 대한 기준값을 설정하고, 상기 예측데이터와 상기 기존결과데이터를 비교하였을 때 상기 이상적인 결과에 대한 기준값과 상기 예측데이터의 결과에 대한 값 사이에 오차가 발생할 경우에만 드리프트 발생을 판단하는 드리프트발생판단단계와, 상기 드리프트 발생으로 판단된 후 미리 저장된 상기 기존결과데이터의 특징과 결과의 선형관계에 대비해 상기 예측데이터의 특징과 결과에 대한 관계가 비선형일 경우에 컨셉드리프트 발생으로 판단하는 컨셉드리프트판단단계와, 상기 기존결과데이터의 특징과 상기 예측데이터의 특징과 결과에 대한 관계가 선형일 경우에 상기 기존결과데이터와 상기 예측데이터의 P-value를 계산하여 기 설정된 기준값보다 낮으면 데이터드리프트 발생으로 판단하는 데이터드리프트판단단계와, 상기 데이터드리프트가 발생하였을 경우에 상기 입력데이터에 관련된 데이터를 수집하여 재학습하고, 상기 컨셉드리프트가 발생하였을 경우에 상기 입력데이터에 관련된 데이터를 수집하고 변수를 가공하여 상기 학습모델을 재훈련하여 재학습모델을 생성하는 재훈련단계를 포함하여 구성된다.
삭제
삭제
삭제
삭제
삭제
삭제
삭제
상술한 바와 같이 본 발명에 따르면, 시간이 경과함에 따라 발생할 수 있는 머신러닝의 학습 모델과 학습 데이터에 대한 드리프트 현상을 미리 탐지하여 머신러닝의 재학습 시기를 신속하게 판단할 수 있음으로 인해 머신러닝의 모델 성능이 저하되는 것을 방지할 수 있으며, 많은 컴퓨팅 자원과 소요되는 학습시간을 절약할 수 있는 효과가 있다.
또한, 드리프트 현상이 발생한 머신러닝의 재학습을 할 수 있도록 구축하기 때문에 머신러닝의 모델 성능을 효율적으로 업그레이드시킬 수 있어 머신러닝의 결과에 대한 정확성을 향상시킬 수 있는 효과가 있다.
도 1은 본 발명의 일실시 예에 의한 머신러닝의 드리프트 현상 탐지를 이용한 재훈련 시스템,
도 2 및 도 3은 본 발명의 일실시 예에 의한 머신러닝의 드리프트 현상 탐지를 이용한 재훈련 시스템의 재훈련부,
도 4 및 도 5는 본 발명의 일실시 예에 의한 머신러닝의 드리프트 현상 탐지를 이용한 재훈련 방법.
이하, 첨부된 도면을 참조하여 본 발명에 의한 머신러닝의 드리프트 현상 탐지를 이용한 재훈련 시스템 및 방법을 상세히 설명한다.
도 1은 본 발명의 일실시 예에 의한 머신러닝의 드리프트 현상 탐지를 이용한 재훈련 시스템이고, 도 2 및 도 3은 본 발명의 일실시 예에 의한 머신러닝의 드리프트 현상 탐지를 이용한 재훈련 시스템의 재훈련부이며, 도 4 및 도 5는 본 발명의 일실시 예에 의한 머신러닝의 드리프트 현상 탐지를 이용한 재훈련 방법이다.
상기 도면의 구성 요소들에 인용부호를 부가함에 있어서, 동일한 구성 요소들에 한해서는 비록 다른 도면상에 표시되더라도 가능한 동일한 부호를 가지도록 하고 있으며, 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 공지 기능 및 구성에 대한 상세한 설명은 생략한다. 또한, '상부', '하부', '앞', '뒤', '선단', '전방', '후단' 등과 같은 방향성 용어는 개시된 도면(들)의 배향과 관련하여 사용된다. 본 발명의 실시 예의 구성요소는 다양한 배향으로 위치설정될 수 있기 때문에 방향성 용어는 예시를 목적으로 사용되는 것이지 이를 제한하는 것은 아니다.
본 발명의 바람직한 일실시 예에 의한 머신러닝의 드리프트 현상 탐지를 이용한 재훈련 시스템은, 상기 도 1에 도시된 바와 같이, 입력데이터를 입력받기 위한 데이터입력부(100)와, 상기 입력데이터로부터 검출 대상에 대한 후보 영역을 찾아 객체를 검출하여 인식하기 위한 객체탐지부(200)와, 상기 인식된 객체를 미리 학습된 학습모델을 통해 예측하여 예측데이터를 생성하기 위한 예측결과부(300)와, 상기 예측데이터와 기 저장된 기존결과데이터를 비교하여 오차 발생에 따라 드리프트가 발생하였는지 판단하기 위한 드리프트판단부(400)와, 상기 드리프트판단부(400)에서 드리프트가 발생하였다고 판단한 경우에 상기 예측데이터가 비정상으로 판단된 데이터드리프트 또는 상기 학습모델이 비정상으로 판단된 컨셉드리프트 중 어느 하나로 판단하기 위한 드리프트분석부(500)와, 상기 드리프트 발생여부에 따라 상기 입력데이터에 대해 학습모델을 재훈련시켜 재학습모델을 생성하기 위한 재훈련부(600)를 포함한다.
상기 데이터입력부(100)는, 미리 학습된 학습모델의 드리프트 현상을 테스트하기 위한 입력데이터를 입력받는다.
상기 객체탐지부(200)는, 상기 입력데이터로부터 검출 대상에 대한 후보 영역을 찾아 객체를 검출하여 인식한다. 즉, 상기 객체탐지부(200)는 미리 설정된 학습모델을 기반으로 입력데이터 내 객체를 탐지 및 인식한다.
상기 객체탐지부(200)는 상기 입력데이터 내에서 바운딩 박스를 통하여 객체를 탐지할 수 있으며, 상기 바운딩 박스 영역만 대상이 되도록 한다.
상기 바운딩 박스는 타겟 위치를 특정하기 위해 사용되며, 타겟 위치를 X축과 Y축을 이용하여 사각형으로 표현한다.
상기 예측결과부(300)는, 상기 객체탐지부(200)에서 인식된 객체를 미리 학습된 학습모델을 통해 예측하여 예측데이터를 생성한다.
상기 예측데이터는 상기 인식된 객체의 종류, 위치, 진실성 중 하나 이상을 포함한다.
여기서, 상기 객체의 종류는 사람, 동물, 사물 등과 같이 객체가 어떤 종류로 분류되는지 나타내는 것이며, 상기 객체의 위치는 객체가 검출된 영역을 나타내며, 상기 객체의 진실성은 객체가 최종적으로 결정된 종류에 속할 확률을 나타낼 수 있다.
상기 객체탐지부(200)와 상기 예측결과부(300)에 대한 객체 탐지의 정확도를 측정하는데 이용되는 평가지표인 IoU(Intersection over Union)를 사용할 수 있다.
상기 IoU(Intersection over Union)는 학습을 위한 입력데이터에서 객체 위치를 라벨링한 것(Ground-truth bounding boxes)과 상기 학습모델이 출력한 객체 위치 예측값(Predicted bounding boxes)을 이용하여 적용할 수 있다.
상기 IoU를 사용함으로써 상기 학습모델이 출력한 객체 위치 예측값(Predicted bounding boxes)가 상기 학습을 위한 입력데이터에서 객체 위치를 라벨링한 것(Ground-truth bounding boxes)와 얼마나 일치하는지 측정하고, IoU가 높을수록 상기 학습모델이 출력한 객체 위치 예측값(Predicted bounding boxes)과 상기 학습을 위한 입력데이터에서 객체 위치를 라벨링한 것(Ground-truth bounding boxes)이 거의 포개지기 때문에 객체 탐지의 높은 정확도를 나타내는 것을 알 수 있다.
상기 드리프트판단부(400)는, 머신러닝의 재학습 시기를 결정하기 위해 시간이 경과함에 따라 학습 모델과 학습 데이터 측면의 드리프트 현상을 판단하기 위한 것이다.
상기 드리프트판단부(400)는 상기 예측데이터와 기 저장된 기존결과데이터를 비교하여 드리프트 발생여부를 판단한다. 즉, 상기 드리프트판단부(400)는 상기 예측데이터와 상기 기존결과데이터 간에 오차가 발생할 경우에 드리프트가 발생하였다고 판단하고, 상기 예측데이터와 상기 기존결과데이터 간에 오차가 발생하지 않은 경우에 드리프트가 발생하지 않았다고 판단한다.
이때, 상기 드리프트판단부(400)는 상기 예측데이터와 상기 기존결과데이터 간에 오차값을 계산한다. 예를 들어, 상기 기존결과데이터를 통해 이상적인 결과에 대한 기준값이 0으로 설정되어 있을 경우에, 상기 예측데이터의 결과에 대한 값이 0보다 클 경우에 오차가 발생한 것으로 판단할 수 있다.
상기 드리프트판단부(400)에서 드리프트가 발생하였다고 판단된 경우에는 상기 발생된 드리프트의 종류를 분석하기 위한 드리프트분석부(500)를 더 포함할 수 있다.
상기 드리프트분석부(500)는, 상기 예측데이터가 비정상으로 판단된 데이터드리프트 또는 상기 학습모델이 비정상으로 판단된 컨셉드리프트 중 어느 하나로 판단한다.
상기 드리프트분석부(500)는 상기 기존결과데이터와 상기 예측데이터의 p-value를 계산하고 기 설정된 기준값과 비교하여 통계적 유의성을 판별함으로써 데이터드리프트의 발생을 판단한다.
상기 데이터드리프트는 설명 변수의 통계적인 속성이 변하는 경우이며, 예를 들어, 나이를 특징으로 하는 학습모델에 학습된 연령대가 10대~20대로 가정하였을 때, 그 후 학습모델을 사용하는데 연령대가 30대 이상을 수집하게 되는 경우인 것이다.
상기 드리프트분석부(500)는 상기 예측결과데이터의 p-value의 계산된 값과 기 설정된 기준값보다 낮을 경우에 통계적 유의성이 커짐으로 데이터드리프트가 발생한 것으로 판단하고, 상기 예측결과데이터의 p-value의 계산된 값과 기 설정된 기준값보다 높을 경우에 통계적 유의성이 낮아 데이터드리프트가 발생하지 않은 것으로 판단할 수 있다.
상기 컨셉드리프트는 테이터의 특징과 예측 결과 간의 근본적 관계에 변화가 생길 경우에 발생하고, 상기 데이터드리프트는 사용중인 변수의 통계적 특성이 변경된 경우 발생한다.
상기 드리프트분석부(500)는 상기 기존결과데이터의 특징과 결과가 선형관계임이 미리 저장되고, 상기 기존결과데이터에 대비해 상기 예측데이터의 특징에 대한 관계가 비선형일 경우에 컨셉드리프트 발생으로 판단한다.
예를 들어, 상기 컨셉드리프트는 학습데이터를 특징과 결과 사이의 관계가 선형을 보여주는 데이터 하위 샘플만 사용하여 학습을 진행했는데 학습 후 다른 데이터를 수집해 보니 특징과 결과의 관계가 모델 훈련 때와 비교하였을 때 비선형인 것이다. 즉, 상기 컨셉드리프트는 예측하려고 하는 변수의 의미가 바뀌는 경우이다.
상기 컨셉드리프트는 학습모델과 학습데이터의 특성공학(Feature engineering) 측면의 차원 저주(Curse of dimensionality) 문제와 XAI 분석이 필요하다.
상기 차원 저주(Curse of dimensionality)는 데이터 학습을 위해 차원(즉, 변수의 갯수)을 증가시키면 차원의 수가 학습데이터 수보다 커지면서 성능이 저하되는 현상이며, 차원이 증가될수록 학습모델의 성능이 저하된다.
상기 XAI(eXplainable Artificial Intelligence)는 AI가 결정한 결과의 근거와 도출과정의 타당성을 제공하지 못하는 블랙박스 사례에 대한 문제점을 해결하기 위한 것으로, 사용자가 AI에 의해 생성된 결과와 출력을 이해하고 신뢰할 수 있도록 하는 일련의 프로세스 및 방법이다.
즉, 상기 컨셉드리프트는 차원 저주와 상기 XAI를 통해 상기 예측데이터의 정확성을 판단하여 상기 학습모델에 변화가 있음을 판단할 수 있다.
또한, 상기 드리프트분석부(500)는 상기 예측데이터의 특징과 결과가 선형일 경우에 상기 학습모델의 변화가 없는 것으로 판단할 수 있다.
상기 재훈련부(600)는, 상기 도 2 내지 도 3에 도시된 바와 같이, 상기 드리프트 발생여부에 따라 상기 입력데이터에 대해 학습모델을 재훈련시켜 재학습모델을 생성한다. 다시 말해, 상기 재훈련부(600)는 상기 컨셉드리프트가 발생하였을 경우에 상기 입력데이터에 관련된 데이터를 수집하고 변수를 가공하여 상기 학습모델을 재훈련하여 재학습모델을 생성하고, 상기 데이터드리프트가 발생하였을 경우에 상기 입력데이터에 관련된 데이터를 수집하여 재학습하도록 하여 재학습모델을 생성한다.
상기 재훈련부(600)는 상기 입력데이터에 관련된 데이터를 수집하기 위한 데이터수집수단(610)과, 상기 수집된 수집데이터를 통해 상기 학습모델을 재훈련하여 재학습모델을 생성하기 위한 모델학습수단(630)과, 상기 재학습모델을 저장하기 위한 모델저장수단(640)을 포함한다.
상기 데이터수집수단(610)은, 상기 입력데이터에 관련된 데이터를 수집하여 수집데이터를 생성한다.
상기 데이터수집수단(610)은 상기 수집데이터를 학습하기 좋게 전처리한다.
상기 모델학습수단(630)은, 상기 드리프트분석부(500)에서 데이터드리프트로 판단된 경우에 상기 학습모델에 상기 수집데이터를 지속적으로 학습시킨다.
상기 모델학습수단(630)을 통해 상기 수집데이터가 학습된 재학습모델을 생성할 수 있다.
상기 모델저장수단(640)은, 상기 생성된 재학습모델을 저장하고, 추후 머신러닝에서 상기 재학습모델을 적용할 수 있도록 한다.
한편, 상기 재훈련부(600)는, 상기 드리프트분석부(500)에서 컨셉드리프트로 판단된 경우에 상기 모델학습수단(630)을 통해 수집데이터를 학습시키기 전에 상기 수집데이터를 이용하여 변수를 추출하기 위한 변수가공수단(620)을 더 포함한다.
상기 변수가공수단(620)은, 상기 수집데이터를 구분할 수 있는 변수를 추출한 뒤 해당 변수의 데이터를 정리한다.
상기 변수가공수단(620)을 통해 추출된 변수는 상기 컨셉드리프트된 학습모델의 개념을 변경시킬 수 있게 된다.
상기 변수가공수단(620)이 형성됨으로 인해 데이터의 특징과 예측 결과 간에 발생한 근본적 관계를 해소시킬 수 있다.
이때, 상기 모델학습수단(630)은 상기 변수를 이용하여 머신러닝을 통해 상기 학습모델을 재훈련하여 재학습모델을 생성할 수 있다. 즉, 상기 모델학습수단(630)은 상기 추출된 변수를 이용하여 상기 수집데이터를 학습시켜 재학습모델을 생성할 수 있다.
또한, 상기 재훈련부(600)는, 상기 수집데이터 중 비학습된 데이터를 입력받아 상기 재학습모델을 통해 결과를 예측하고 상기 재학습모델의 정확도를 평가하기 위한 모델평가수단(650)을 더 포함하여 구성될 수 있다.
상기 모델평가수단(650)은, 상기 재학습모델의 성능을 확인하기 위한 것으로, 상기 모델저장수단(640)에서 상기 재학습모델을 추출한 후 상기 수집데이터 중 비학습된 데이터를 입력하여 결과를 예측한다.
상기 모델평가수단(650)을 통해 예측된 결과에 따라 정확도를 측정하고, 상기 정확도에 따라 반복 학습을 수행하도록 하여 미리 설정된 정확도에 도달할 수 있도록 한다.
상기와 같이 구성된 머신러닝의 드리프트 현상 탐지를 이용한 재훈련 방법은, 상기 도 4 내지 도 5에 도시된 바와 같이, 상기 데이터입력부(100)를 통해 입력데이터를 입력받는다(S10).
상기 객체탐지부(200)에서 상기 입력데이터의 진실성을 파악하고, 상기 입력데이터의 검출 대상에 대한 후보 영역을 찾아 객체를 검출하여 인식한다(S20).
상기 예측결과부(300)는 상기 객체탐지부(200)를 통해 검출된 객체를 미리 학습된 학습모델에 입력한 후 결과를 예측하여 예측데이터를 생성한다(S30).
상기 드리프트판단부(400)에서는 상기 예측데이터와 기 저장된 기존결과데이터를 비교하여 오차 발생에 따라 드리프트 발생여부를 판단한다(S40). 즉, 상기 드리프트판단부(400)는 미리 설정된 이상적인 결과에 대한 기준값이 상기 예측데이터의 결과에 대한 값 간에 차이가 발생할 경우에 상기 상기 예측데이터와 기 저장된 기존결과데이터 간에 오차가 발생한 것으로 판단되어 드리프트가 발생된 것으로 판단할 수 있다.
상기 드리프트 발생으로 판단된 경우에, 상기 드리프트분석부(500)는 상기 예측데이터가 비정상으로 판단된 데이터드리프트 또는 상기 학습모델이 비정상으로 판단된 컨셉드리프트 중 어느 하나로 판단한다(S50).
즉, 상기 드리프트분석부(500)는 상기 드리프트분석부(500)는 상기 기존결과데이터와 상기 예측데이터의 P-value를 계산하여 기 설정된 기준값보다 낮으면 데이터드리프트 발생으로 판단한다(S60).
이에 반해, 상기 기존결과데이터와 상기 예측데이터의 P-value 값이 기 설정된 기준값보다 높으면 데이터드리프트가 발생하지 않은 것으로 판단한다.
또한, 상기 드리프트분석부(500)는 미리 저장된 상기 기존결과데이터의 특징과 결과의 선형관계에 대비해 상기 예측데이터의 특징에 대한 관계가 비선형일 경우에 컨셉드리프트 발생으로 판단한다(S70).
반면, 미리 저장된 상기 기존결과데이터의 특징과 결과의 선형관계에 대비해 상기 예측데이터의 특징에 대한 관계가 선형일 경우에는 컨셉드리프트가 발생하지 않은 것으로 판단한다.
상기 재훈련부(600)는 상기 드리프트 발생여부에 따라 상기 입력데이터에 대해 학습모델을 재훈련시켜 재학습모델을 생성한다(S80).
이때, 상기 재훈련부(600)에서는 상기 컨셉드리프트가 발생한 것으로 판단된 경우에 상기 입력데이터에 관련된 데이터를 수집한 후 상기 수집데이터를 이용하여 변수를 추출하고, 상기 추출된 변수를 이용하여 머신러닝을 통해 재학습모델을 생성한다.
상기 재훈련부(600)에서는 상기 데이터드리프트가 발생한 것으로 판단된 경우에 상기 입력데이터에 관련된 데이터를 수집한 후 상기 수집데이터를 상기 학습모델에 재학습시켜 재학습모델을 생성한다.
상기와 같이 구성되는 머신러닝의 드리프트 현상 탐지를 이용한 재훈련 시스템 및 방법은, 시간이 경과함에 따라 발생할 수 있는 머신러닝의 학습 모델과 학습 데이터에 대한 드리프트 현상과 종류를 미리 탐지하여 머신러닝의 재학습 시기를 신속하게 판단할 수 있어 머신러닝의 모델 성능이 저하되는 것을 방지할 수 있으며, 많은 컴퓨팅 자원과 소요되는 학습시간을 절약할 수 있게 된다. 이로 인한 사용자가 주기적으로 머신러닝을 관리해야 하는 번거로움을 저하시킬 수 있으면서 예측분석 프로젝트 등에 대한 혼란과 고객경험까지 저하되는 것을 방지할 수 있다.
또한, 드리프트 현상이 발생한 머신러닝의 재학습을 할 수 있도록 구축하기 때문에 머신러닝의 모델 성능을 효율적으로 업그레이드시킬 수 있어 머신러닝의 결과에 대한 정확성을 향상시킬 수 있는 효과가 있다.
앞에서 설명되고, 도면에 도시된 본 발명의 실시 예들은 본 발명의 기술적 사상을 한정하는 것으로 해석되어서는 안 된다. 본 발명의 보호범위는 청구범위에 기재된 사항에 의하여만 제한되고, 본 발명의 기술분야에서 통상의 지식을 가진 자는 본 발명의 기술적 사상을 다양한 형태로 개량 변경하는 것이 가능하다. 따라서 이러한 개량 및 변경은 통상의 지식을 가진 자에게 자명한 것인 경우에는 본 발명의 보호범위에 속하게 될 것이다.
100: 데이터입력부 200: 객체탐지부
300: 예측결과부 400: 드리프트판단부
500: 드리프트분석부 600: 재훈련부
610: 데이터수집수단 620: 변수가공수단
630: 모델학습수단 640: 모델저장수단
650: 모델평가수단

Claims (8)

  1. 입력데이터로부터 객체를 검출하여 인식한 후 드리프트 발생여부를 판단하여 상기 입력데이터에 대한 학습모델을 재훈련시키는 머신러닝의 드리프트 현상 탐지를 이용한 재훈련시스템에 있어서,
    상기 입력데이터로부터 검출 대상을 특정하기 위해 상기 입력데이터 내에서 바운딩 박스를 통하여 객체를 탐지하여 인식하기 위한 객체탐지부(200)와,
    미리 학습된 학습모델을 통해 상기 인식된 객체를 예측하여 상기 인식된 객체의 종류, 위치, 진실성 중 하나 이상을 포함한 예측데이터를 생성하기 위한 예측결과부(300)와,
    미리 기 저장된 기존결과데이터를 통해 이상적인 결과에 대한 기준값을 설정하고, 상기 예측데이터와 상기 기존결과데이터를 비교하였을 때 상기 이상적인 결과에 대한 기준값과 상기 예측데이터의 결과에 대한 값 사이에 오차가 발생할 경우에만 드리프트가 발생한 것으로 판단하기 위한 드리프트판단부(400)와,
    상기 드리프트가 발생한 것으로 판단한 경우에 상기 기존결과데이터와 상기 예측데이터의 P-value를 계산하여 상기 P-value이 기 설정된 기준값보다 낮으면 통계적 유의성이 커져 데이터드리프트 발생으로 판단하고, 미리 저장된 상기 기존결과데이터의 특징과 결과의 선형관계에 대비하여 상기 예측데이터의 특징과 결과에 대한 관계가 비선형이면 컨셉드리프트 발생으로 판단하기 위한 드리프트분석부(500)와,
    상기 데이터드리프트가 발생하였을 경우에 상기 입력데이터에 관련된 데이터를 수집하여 재학습하고, 상기 컨셉드리프트가 발생하였을 경우에 상기 입력데이터에 관련된 데이터를 수집하고 변수를 가공하여 상기 학습모델을 재훈련하여 재학습모델을 생성하기 위한 재훈련부(600)를 포함하여 구성되는 머신러닝의 드리프트 현상 탐지를 이용한 재훈련 시스템.
  2. 청구항 1에 있어서,
    상기 재훈련부(600)는, 상기 입력데이터에 관련된 데이터를 수집하기 위한 데이터수집수단(610)과,
    상기 수집된 수집데이터를 통해 상기 학습모델을 재훈련하여 재학습모델을 생성하기 위한 모델학습수단(630)과,
    상기 재학습모델을 저장하기 위한 모델저장수단(640)을 포함하여 구성되는 머신러닝의 드리프트 현상 탐지를 이용한 재훈련 시스템.
  3. 청구항 2에 있어서,
    상기 재훈련부(600)는, 상기 드리프트분석부(500)에서 컨셉드리프트 발생으로 판단된 경우에, 상기 수집된 수집데이터를 이용하여 변수를 추출하기 위한 변수가공수단(620)을 포함하고,
    상기 모델학습수단(630)은, 상기 변수를 이용하여 머신러닝을 통해 상기 학습모델을 재훈련하여 재학습모델을 생성하는 머신러닝의 드리프트 현상 탐지를 이용한 재훈련 시스템.
  4. 청구항 3에 있어서,
    상기 재훈련부(600)는, 상기 수집데이터 중 비학습된 데이터를 입력받아 상기 재학습모델을 통해 결과를 예측하고, 상기 예측된 결과에 따라 정확도를 측정하여 상기 재학습모델의 정확도를 평가하기 위한 모델평가수단(650)을 더 포함하여 구성되는 머신러닝의 드리프트 현상 탐지를 이용한 재훈련 시스템.
  5. 컴퓨팅 시스템에 의해 수행되는 머신러닝의 드리프트 현상 탐지를 이용한 재훈련 방법에 있어서,
    입력데이터로부터 검출 대상을 특정하기 위해 상기 입력데이터 내에서 바운딩 박스를 통하여 객체를 탐지하여 인식하는 객체탐지단계와,
    미리 학습된 학습모델을 통해 상기 인식된 객체를 예측하여 상기 인식된 객체의 종류, 위치, 진실성 중 하나 이상을 포함한 예측데이터를 생성하는 예측결과단계와,
    미리 기 저장된 기존결과데이터를 통해 이상적인 결과에 대한 기준값을 설정하고, 상기 예측데이터와 상기 기존결과데이터를 비교하였을 때 상기 이상적인 결과에 대한 기준값과 상기 예측데이터의 결과에 대한 값 사이에 오차가 발생할 경우에만 드리프트 발생을 판단하는 드리프트발생판단단계와,
    상기 드리프트 발생으로 판단된 후 미리 저장된 상기 기존결과데이터의 특징과 결과의 선형관계에 대비해 상기 예측데이터의 특징과 결과에 대한 관계가 비선형일 경우에 컨셉드리프트 발생으로 판단하는 컨셉드리프트판단단계와,
    상기 기존결과데이터의 특징과 상기 예측데이터의 특징과 결과에 대한 관계가 선형일 경우에 상기 기존결과데이터와 상기 예측데이터의 P-value를 계산하여 기 설정된 기준값보다 낮으면 데이터드리프트 발생으로 판단하는 데이터드리프트판단단계와,
    상기 데이터드리프트가 발생하였을 경우에 상기 입력데이터에 관련된 데이터를 수집하여 재학습하고, 상기 컨셉드리프트가 발생하였을 경우에 상기 입력데이터에 관련된 데이터를 수집하고 변수를 가공하여 상기 학습모델을 재훈련하여 재학습모델을 생성하는 재훈련단계를 포함하여 구성되는 머신러닝의 드리프트 현상 탐지를 이용한 재훈련 방법.
  6. 삭제
  7. 삭제
  8. 삭제
KR1020220070149A 2022-06-09 2022-06-09 머신러닝의 드리프트 현상 탐지를 이용한 재훈련 시스템 및 방법 KR102504230B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220070149A KR102504230B1 (ko) 2022-06-09 2022-06-09 머신러닝의 드리프트 현상 탐지를 이용한 재훈련 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220070149A KR102504230B1 (ko) 2022-06-09 2022-06-09 머신러닝의 드리프트 현상 탐지를 이용한 재훈련 시스템 및 방법

Publications (1)

Publication Number Publication Date
KR102504230B1 true KR102504230B1 (ko) 2023-03-02

Family

ID=85509044

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220070149A KR102504230B1 (ko) 2022-06-09 2022-06-09 머신러닝의 드리프트 현상 탐지를 이용한 재훈련 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR102504230B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116991137A (zh) * 2023-07-04 2023-11-03 山东省计算中心（国家超级计算济南中心） 一种面向概念漂移的可适应可解释的工控系统异常检测方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210109834A1 (en) * 2019-10-15 2021-04-15 UiPath, Inc. Inserting probabilistic models in deterministic workflows for robotic process automation and supervisor system
JP2022060512A (ja) * 2019-10-09 2022-04-14 株式会社日立製作所 運用支援システム及び方法
KR20220073088A (ko) * 2020-11-26 2022-06-03 인하대학교 산학협력단 자원이 제약된 모바일 기기에서 동적 데이터 변환에 적응하기 위한 전문화된 경량 신경망 교체 방법 및 장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022060512A (ja) * 2019-10-09 2022-04-14 株式会社日立製作所 運用支援システム及び方法
US20210109834A1 (en) * 2019-10-15 2021-04-15 UiPath, Inc. Inserting probabilistic models in deterministic workflows for robotic process automation and supervisor system
KR20220073088A (ko) * 2020-11-26 2022-06-03 인하대학교 산학협력단 자원이 제약된 모바일 기기에서 동적 데이터 변환에 적응하기 위한 전문화된 경량 신경망 교체 방법 및 장치

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"[ML Ops] - 지속가능한 AI서비스를 위한 Model Drift의 인지 및 관리", https://littlefoxdiary.tistory.com/95, 2022.02.20. *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116991137A (zh) * 2023-07-04 2023-11-03 山东省计算中心（国家超级计算济南中心） 一种面向概念漂移的可适应可解释的工控系统异常检测方法
CN116991137B (zh) * 2023-07-04 2024-03-26 山东省计算中心（国家超级计算济南中心） 一种面向概念漂移的可适应可解释的工控系统异常检测方法

Similar Documents

Publication Publication Date Title
Lipton et al. Detecting and correcting for label shift with black box predictors
Vaicenavicius et al. Evaluating model calibration in classification
Schulam et al. Can you trust this prediction? Auditing pointwise reliability after learning
Fu et al. Deep residual LSTM with domain-invariance for remaining useful life prediction across domains
CN115618296B (zh) 一种基于图注意力网络的大坝监测时序数据异常检测方法
CN113312447A (zh) 基于概率标签估计的半监督日志异常检测方法
KR102504230B1 (ko) 머신러닝의 드리프트 현상 탐지를 이용한 재훈련 시스템 및 방법
CN117574308B (zh) 基于人工智能的计量芯片异常检测方法及系统
CN116453438B (zh) 一种显示屏参数检测方法、装置、设备及存储介质
Ding et al. RADM: Real-time anomaly detection in multivariate time series based on Bayesian network
CN115983087A (zh) 一种注意力机制与lstm结合检测时序数据异常方法及终端机
CN116186633A (zh) 一种基于小样本学习的用电异常诊断方法和系统
CN115776401A (zh) 基于少样本学习对网络攻击事件进行溯源的方法、装置
AU2012264478A1 (en) Heterogeneous data fusion using gaussian processes
Hacker et al. Insufficiency-driven DNN error detection in the context of SOTIF on traffic sign recognition use case
Hollmén et al. A self-organizing map for clustering probabilistic models
CN113033898A (zh) 基于k均值聚类与bi-lstm神经网络的电负荷预测方法及系统
CN117171690A (zh) 基于改进标签传播的光伏阵列故障诊断方法、装置及设备
Wan et al. Software Defect Prediction Using Dictionary Learning.
CN116415485A (zh) 一种基于动态分布自适应的多源域迁移学习的剩余使用寿命预测方法
CN113837481B (zh) 一种基于区块链的金融大数据管理系统
CN115616408A (zh) 电池热管理数据处理方法及系统
KR20230060214A (ko) 인공지능 기반 영상 객체 추적 장치 및 방법
CN114912497A (zh) 用于模型更新的方法、设备和程序产品
CN116541794B (zh) 一种基于自适应图注意网络的传感器数据异常检测方法