KR20230073632A - Ai 모델 드리프트 모니터링 장치 및 방법 - Google Patents

Ai 모델 드리프트 모니터링 장치 및 방법 Download PDF

Info

Publication number
KR20230073632A
KR20230073632A KR1020210160214A KR20210160214A KR20230073632A KR 20230073632 A KR20230073632 A KR 20230073632A KR 1020210160214 A KR1020210160214 A KR 1020210160214A KR 20210160214 A KR20210160214 A KR 20210160214A KR 20230073632 A KR20230073632 A KR 20230073632A
Authority
KR
South Korea
Prior art keywords
drift
data
monitoring
model
data set
Prior art date
Application number
KR1020210160214A
Other languages
English (en)
Inventor
서창수
김현진
김영주
배경숙
Original Assignee
에스케이 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이 주식회사 filed Critical 에스케이 주식회사
Priority to KR1020210160214A priority Critical patent/KR20230073632A/ko
Priority to PCT/KR2022/018011 priority patent/WO2023090825A1/ko
Publication of KR20230073632A publication Critical patent/KR20230073632A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Algebra (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Testing And Monitoring For Control Systems (AREA)

Abstract

본 발명은 배포된 AI 모델의 시간 경과에 따른 데이터 드리프트를 모니터링하는 AI 모델 드리프트 모니터링 장치 및 방법으로서, 특히, AI 모델의 성능을 평가하기 위한 기준 데이터 셋과 예측 데이터 셋을 구성하고, 2개의 데이터 셋 간의 통계적 차이를 대비하여 데이터 드리프트를 감지하는 AI 모델 드리프트 모니터링 장치 및 방법에 관한 것이다. 본 발명의 일 실시예에 따른 AI 모델 드리프트 모니터링 장치는, 기준 데이터 셋과 예측 데이터 셋을 선별하여 구성하고, AI 모델의 데이터 드리프트를 모니터링 하는 실행 주기를 설정하는 모니터링 설정부, 상기 기준 데이터 셋과 예측 데이터 셋을 모니터링 주기에 따라 분석하고, 2개 데이터 셋 간의 통계적 차이를 비교하여 미리 설정된 기준 범위의 이탈 여부에 따라 데이터 드리프트를 판별하는 모니터링 결과 분석부, 및 상기 모니터링 결과 분석부의 분석 결과에 따라 데이터 드리프트에 대한 모니터링의 설정 및 실행 주기를 업데이트 하는 모니터링 실행 수정부를 포함한다.

Description

AI 모델 드리프트 모니터링 장치 및 방법 {DRIFT MONITORING APPARATUS FOR AI MODEL AND METHOD THEREOF}
본 발명은 배포된 AI 모델의 시간 경과에 따른 데이터 드리프트를 모니터링하는 AI 모델 드리프트 모니터링 장치 및 방법으로서, 특히, AI 모델의 성능을 평가하기 위한 기준 데이터 셋과 예측 데이터 셋을 구성하고, 2개의 데이터 셋 간의 통계적 차이를 대비하여 데이터 드리프트를 감지하는 AI 모델 드리프트 모니터링 장치 및 방법에 관한 것이다.
AI(Artificial Intelligence) 모델은 다양한 언어, 데이터, 라이브러리를 이용하여 개발되며, 개발된 AI 모델을 여러 사용 환경에 적합하게 배포하고, 구동시키는데 많은 제약이 따른다.
또한, AI 모델은 적용되는 데이터, 피처 등에 따라 머신 러닝의 추론 결과가 미묘하게 변경되며, 시간 경과에 따라 데이터 드리프트가 발생한다. 여기서, 데이터 드리프트는 입력되는 데이터를 기반으로 AI 모델이 산출한 예측 데이터가 기준 데이터와 비교하여 미리 설정된 범위를 이탈한 경우, 즉, 임계값을 벗어난 경우를 의미한다.
AI 모델의 데이터 드리프트가 발생하면, AI 모델에 대해 새로운 학습 데이터를 통한 머신 러닝을 재실행하여, 최적화된 AI 모델로 업데이트가 실행되어야 한다.
따라서, AI 모델의 데이터 드리프트를 감지하고, 데이터를 구성하는 피처(feature) 수준에서 보다 정밀하게 데이터 드리프트를 분석하는 방법에 관한 연구 개발의 필요성이 있다.
본 발명은 상기한 사정을 감안하여 창출된 것으로서, 본 발명의 목적은 AI 모델의 성능 저하 감지를 위해 기준 데이터 셋과 예측 데이터 셋을 구성하고, 2개의 데이터 셋 간의 통계적 차이를 비교하여 데이터 드리프트를 모니터링 하는 AI 모델 드리프트 모니터링 장치 및 방법을 제공하는데 있다.
본 발명의 일 실시예에 따른 AI 모델 드리프트 모니터링 장치는, 기준 데이터 셋과 예측 데이터 셋을 선별하여 구성하고, AI 모델의 데이터 드리프트를 모니터링 하는 실행 주기를 설정하는 모니터링 설정부, 상기 기준 데이터 셋과 예측 데이터 셋을 모니터링 주기에 따라 분석하고, 2개 데이터 셋 간의 통계적 차이를 비교하여 미리 설정된 기준 범위의 이탈 여부에 따라 데이터 드리프트를 판별하는 모니터링 결과 분석부, 및 상기 모니터링 결과 분석부의 분석 결과에 따라 데이터 드리프트에 대한 모니터링의 설정 및 실행 주기를 업데이트 하는 모니터링 실행 수정부를 포함한다.
일 실시예에서, 상기 모니터링 결과 분석부는, 상기 기준 데이터 셋과 예측 데이터 셋을 구성하는 데이터들의 확률분포 차이를 계산하는 알고리즘인 드리프트 평가 메트릭을 적용하여 데이터 드리프트를 판별할 수 있다.
일 실시예에서, 상기 모니터링 설정부는, 데이터를 구성하는 피처들 중 분석을 실행할 대상 피처들을 선별하고, 피처별 임계값을 설정하는 대상 피처 설정부를 포함할 수 있다.
일 실시예에서, 상기 모니터링 결과 분석부는, 상기 대상 피처들의 시간 경과에 따른 드리프트 추세를 모니터링 하여 분석하는 피처 분석부를 포함할 수 있다.
일 실시예에서, 상기 피처 분석부는, 데이터 셋을 구성하는 복수의 데이터들의 대상 피처들에 대한 정규화를 위해 범주형 피처는 전체 확률의 합이 1이 되도록 확률 분포로 변환하고, 수치형 피처는 전체 확률의 합이 1이 되도록 가우시안 분포로 가정하여 분석할 수 있다.
일 실시예에서, 상기 모니터링 실행 수정부는, 상기 피처 분석부의 분석 결과에 따라 피처별로 적정한 임계값을 재설정하는 피처별 임계값 수정부를 포함할 수 있다.
일 실시예에서, 상기 모니터링 설정부는, 상기 모니터링 결과 분석부의 분석 결과, 예측 데이터가 미리 설정된 기준 범위를 이탈하여 데이터 드리프트가 발생하면, 해당 정보를 노티스 할 슬랙 채널을 설정하는 알람 설정부를 포함할 수 있다.
일 실시예에서, 상기 기준 데이터 셋은, AI 모델 생성 시에 사용된 데이터들로 구성되는 학습 데이터 셋, 또는 AI 모델의 서빙 이후 입력되는 데이터들로 구성되는 과거 데이터 셋이 될 수 있다.
본 발명의 일 실시예에 따른 AI 모델 드리프트 모니터링 방법은, (a) 기준 데이터 셋과 예측 데이터 셋을 선별하여 구성하고, AI 모델의 데이터 드리프트를 모니터링 하는 실행 주기를 설정하는 단계; (b) 상기 기준 데이터 셋과 예측 데이터 셋을 모니터링 주기에 따라 분석하고, 2개 데이터 셋 간의 통계적 차이를 비교하여 미리 설정된 기준 범위의 이탈 여부에 따라 데이터 드리프트를 판별하는 단계; 및 (c) 상기 판별 결과에 따라 데이터 드리프트에 대한 모니터링의 설정 및 실행 주기를 업데이트 하는 단계를 포함한다.
일 실시예에서, 상기 (a) 단계는, 데이터를 구성하는 피처들 중 분석을 실행할 대상 피처들을 선별하고, 피처별 임계값을 설정하는 단계를 포함할 수 있다.
일 실시예에서, 상기 (b) 단계는, 상기 대상 피처들의 시간 경과에 따른 드리프트 추세를 모니터링 하여 분석하는 단계를 포함할 수 있다.
일 실시예에서, 상기 (b) 단계는, 데이터 셋을 구성하는 복수의 데이터들의 대상 피처들에 대한 정규화를 위해 범주형 피처는 전체 확률의 합이 1이 되도록 확률 분포로 변환하고, 수치형 피처는 전체 확률의 합이 1이 되도록 가우시안 분포로 가정하는 단계를 포함할 수 있다.
일 실시예에서, 상기 (c) 단계는, 상기 (b) 단계의 분석 결과에 따라 피처별로 적정한 임계값을 재설정하는 단계를 포함할 수 있다.
일 실시예에서, 상기 (a) 단계는, 상기 (b) 단계의 분석 결과, 예측 데이터가 미리 설정된 기준 범위를 이탈하여 데이터 드리프트가 발생하면, 해당 정보를 노티스 할 슬랙 채널을 설정하는 단계를 포함할 수 있다.
일 실시예에서, 상기 (b) 단계는, 상기 기준 데이터 셋과 예측 데이터 셋을 구성하는 데이터들의 확률분포 차이를 계산하는 알고리즘인 드리프트 평가 메트릭을 적용하여 데이터 드리프트를 판별하는 단계를 포함할 수 있다.
본 발명에 따른 AI 모델 드리프트 모니터링 장치 및 방법은, 배포된 AI 모델의 예측 성능 저하에 따른 데이터 드리프트를 모니터링 하며, 기준 데이터 셋과 예측 데이터 셋의 구성 후, 2개의 데이터 셋 간의 통계적 차이를 비교하여 그래프로 시각화 함으로써 데이터 드리프트를 용이하게 파악할 수 있는 효과가 있다.
또한, 본 발명에 따른 AI 모델 드리프트 모니터링 장치 및 방법은, 피처 수준의 드리프트 스코어를 제공하여 데이터 드리프트를 유발하는 피처를 분석하고, 피처별로 드리프트 추이를 모니터링 하여, 데이터 드리프트에 영향을 미치는 요인을 파악할 수 있는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 AI 모델 드리프트 모니터링 장치의 블록도이다.
도 2a는 기준 데이터 셋과 예측 데이터 셋을 구성하는 데이터들의 분포를 도시하는 도면이며, 도 2b는 확률분포 차이 계산 알고리즘인 KLD를 적용한 계산 결과를 나타내는 그래프이다.
도 3a 및 도 3b는 AI 모델의 드리프트 모니터링 목록의 예시적인 화면들을 도시한다.
도 4 및 도 5는 AI 모델의 드리프트 모니터링 등록 및 수정을 위한 예시적인 화면들을 도시한다.
도 6 및 도 7은 AI 모델의 드리프트 모니터링 결과에 관한 예시적인 화면들을 도시한다.
도 8 및 도 9는 AI 모델의 드리프트 정보에 관한 예시적인 화면들을 도시한다.
도 10은 본 발명의 일 실시예에 따른 AI 모델 드리프트 모니터링 방법의 순서도이다.
이하에서는, 본 발명의 일 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
도 1은 본 발명의 일 실시예에 따른 AI 모델 드리프트 모니터링 장치의 블록도이다.
도 1을 참조하면, 본 발명의 AI 모델 드리프트 모니터링 장치(10)는 모니터링 설정부(100), 모니터링 결과 분석부(200) 및 모니터링 실행 수정부(300)를 포함한다.
모니터링 설정부(100)는 기준 데이터 셋과 예측 데이터 셋을 선별하여 구성하고, 데이터 드리프트를 모니터링 하는 실행 주기를 설정한다.
여기서, 기준　데이터　셋은 학습 데이터 셋 또는 과거 데이터 셋이 될 수 있다. 학습 데이터 셋은 AI 모델을 생성할 때 사용된 학습 데이터들의 전체 또는 부분 집합이 될 수 있으며, 학습 데이터들은, 예를 들어, 센서를 통해 감지된 측정 값들에서 AI 모델의 학습을 위해 정제된(refined) 데이터들이 될 수 있다.
과거 데이터 셋은 생성된 AI 모델이 배포되어, AI 모델의 서빙(serving) 이후 입력되는 실제 데이터들의 전체 또는 부분 집합이 될 수 있다. AI 모델에 대한 모니터링 분석을 실행하는 시점에서 '과거'에 입력된 데이터들이므로, 과거 데이터 셋으로 지칭한다.
예측 데이터 셋은 AI 모델의 서빙 이후 입력되는 과거 데이터들에 기반하여 AI 모델이 산출하는 예측 데이터들의 전체 또는 부분 집합이 될 수 있다.
본 발명의 일 실시예에서, 모니터링 설정부(100)는 데이터를 구성하는 피처들(features) 중 분석을 실행할 대상 피처들을 선별하고, 피처별 임계값을 설정하는 대상 피처 설정부(110)를 포함할 수 있다.
또한, 모니터링 설정부(100)는 모니터링 결과 분석부(200)의 분석 결과, 예측 데이터가 미리 설정된 기준 범위를 이탈하여 데이터 드리프트가 발생하면, 해당 정보를 노티스(notice) 할 슬랙(slack) 채널을 설정하는 알람 설정부(120)를 포함할 수 있다.
모니터링 결과 분석부(200)는 기준 데이터 셋과 예측 데이터 셋을 모니터링 주기에 따라 분석하고, 2개 데이터 셋 간의 통계적 차이를 비교하여 미리 설정된 기준 범위의 이탈 여부에 따라 데이터 드리프트의 발생 여부를 판별한다.
기준 데이터 셋이 학습 데이터 셋인 경우, 모니터링 결과 분석부(200)는 AI 모델의 생성에 사용된 학습 데이터들의 전체 또는 부분 집합인 학습 데이터 셋과, AI 모델의 서빙 이후 입력되는 실제 데이터(과거 데이터), 예를 들어, 센서를 통해 감지된 측정 값들에 기반하여 AI 모델에서 산출되는 예측 데이터들의 전체 또는 부분 집합인 예측 데이터 셋과 통계적 차이를 비교한다.
기준 데이터 셋이 과거 데이터 셋인 경우, 모니터링 결과 분석부(200)는 모니터링이 실행되는 1주기 이전에 AI 모델에 입력된 과거 데이터들의 전체 또는 부분 집합인 과거 데이터 셋을 기준 데이터 셋으로 설정한 상태에서, 기준 데이터 셋(과거 데이터 셋)이 설정된 이후의 시점에 입력되는 과거 데이터들에 기반하여 AI 모델에서 산출되는 예측 데이터들의 전체 또는 부분 집합인 예측 데이터 셋과 기준 데이터 셋(과거 데이터 셋)을 비교한다.
모니터링　결과　분석부(200)는,　기준　데이터　셋과　예측　데이터　셋을　구성하는　데이터들의　확률분포　차이를　계산하는　알고리즘인　드리프트　평가　메트릭을　적용하여　데이터　드리프트를　판별한다.
확률분포 차이를 계산하는 알고리즘으로, 상용의 Jensen Shannon Divergence(JSD) 및/또는 Kullback Leibler Divergence(KLD)가 사용될 수 있으며, 이에 제한되는 것은 아니다.
JSD 또는 KLD를 통해 계산된 확률분포 차이는 그래프로 표시될 수 있으며, KLD는 0에서 무한대까지의 값을 갖고, JSD는 0에서 1 사이의 값을 갖는다.
KLD는 2개의 데이터 셋 간의 분포의 차이를 계산할 때 교환법칙이 성립하지 않는데 반해, KLD(A,B)≠KLD(B,A), JSD는 교환법칙이 성립하므로, JSD(A,B)=JSD(B,A), JSD가 보다 안정적인 계산 방법으로 평가된다.
본 발명의 일 실시예에서, 모니터링 결과 분석부(200)는, 모니터링 설정부(100)에서 설정한 대상 피처들의 시간 경과에 따른 드리프트 추세를 모니터링 하여 분석하는 피처 분석부(210)를 포함할 수 있다.
피처　분석부(210)는 데이터　셋을　구성하는　복수의　데이터들의　대상　피처들에 대한　정규화를　위해　범주형　피처는　전체　확률의　합이　1이　되도록　확률　분포로　변환하고,　수치형　피처는　전체　확률의　합이　1이　되도록　가우시안　분포로　가정하여　분석할 수 있다. 피처　분석부(210)는 추정된 가우시안 분포에서 N개, 예를 들어, 100개를 샘플링 하여 수치형 피처의 드리프트를 분석할 수 있다.
범주형 피처는 피처 값이 특정 범위(range)를 갖는 피처를 의미하며, 수치형 피처는 피처 값이 특정한 수치를 갖는 피처를 의미한다.
또한, 모니터링 결과 분석부(200)는, 데이터 또는 피처의 드리프트 추세를 시각화 하여 그래프로 표시하는 그래픽 처리부(220)를 포함할 수 있다. 그래픽 처리부(220)는 모니터링 주기에 기반한 시간의 경과에 따른 데이터 값 또는 피처 값을 그래프로 표시할 수 있다.
또한, 모니터링 결과 분석부(200)는, 모니터링 주기별로 기록 및 저장된 드리프트의 이력 정보를 제공하는 드리프트 이력 조회부(230)를 포함할 수 있다.
모니터링 실행 수정부(300)는 모니터링 결과 분석부(200)의 분석 결과에 따라 데이터 드리프트에 대한 모니터링의 설정 및 실행 주기를 업데이트 한다. AI 모델이 적용되는 사용 환경, 데이터 드리프트의 발생 가능한 빈도, 데이터 드리프트 발생으로 인한 피해의 경중 등을 고려하여, 모니터링의 설정 및 실행 주기가 조정될 수 있다.
본 발명의 일 실시예에서, 모니터링 실행 수정부(300)는, 피처 분석부(210)의 분석 결과에 따라 피처별로 적정한 임계값을 재설정하는 피처별 임계값 수정부(310)를 포함할 수 있다.
데이터들을 구성하는 피처별로 데이터 드리프트 유발에 미치는 영향이 상이하므로, 피처별로 다른 임계값을 설정하여 드리프트 추세를 모니터링 하고, 모니터링 결과에 따라 임계값을 재설정하는 조정 작업을 실행할 수 있다.
도 2a는 기준 데이터 셋과 예측 데이터 셋을 구성하는 데이터들의 분포를 도시하는 도면이며, 도 2b는 확률분포 차이 계산 알고리즘인 KLD를 적용한 계산 결과를 나타내는 그래프이다.
도 2a를 참조하면, A는 기준 데이터 셋을 구성하는 데이터들의 분포를 나타내며, B는 예측 데이터 셋을 구성하는 데이터들의 분포를 나타낸다. A와 B의 데이터들은, 데이터를 구성하는 피처들의 수치를 기반으로 도 2a와 같이 XY 평면 상에 표시될 수 있다. 본 발명은 A와 B 간의 통계적 차이를 비교하여 데이터 드리프트 발생 여부를 판단한다.
도 2b를 참조하면, 기준 데이터 셋과 예측 데이터 셋에 KLD를 적용하여 계산된 결과를 도시한다. 계산 결과, C는 데이터 드리프트에 관해 미리 설정된 임계값(threshold) 내에 결과값이 나타나므로, 데이터 드리프트가 발생하지 않은 상태이며, D는 임계값을 이탈하여 결과값이 나타나므로, 데이터 드리프트가 발생한 상태이다.
도 3a 및 도 3b는 AI 모델의 드리프트 모니터링 목록의 예시적인 화면들을 도시한다.
도 3a를 참조하면, 배포된 AI 모델의 데이터 드리프트(drift) 모니터링 목록을 표시한다. 모니터링 목록은, 예를 들어, 해당 AI 모델의 분석 주기, 드리프트 여부, 모델 상태, 기준 데이터, 최근 실행 일시 및 다음 실행 일시 정보를 포함할 수 있다. 모니터링 등록 버튼(102)은 AI 모델의 드리프트를 모니터링 하기 위해 드리프트 등록 화면으로 이동시킬 수 있다.
도 3a에 표시되는 AI 모델은 드리프트 모니터링 목록에 등록된 AI 모델을 나타내며, 드리프트 여부가 N으로 표시된 것은 해당 AI 모델에 데이터 드리프트가 발생하지 않았음을 의미한다.
도 3b를 참조하면, 배포된 AI 모델이 데이터 드리프트 모니터링 목록에 등록되지 않은 경우를 나타내며, 등록되지 않았으므로, 'No data available' 메시지가 표시될 수 있다.
도 4 및 도 5는 AI 모델의 드리프트 모니터링 등록 및 수정을 위한 예시적인 화면들을 도시한다.
도 4를 참조하면, 모니터링 설명 항목(104)에는 AI 모델의 드리프트 종류, 형태, 특이사항 등이 기입될 수 있다. 기준 시각 항목(106)은 AI 모델의 모니터링을 위한 기준 시각을 설정한다. AI 모델에 적용되는 기준 데이터가 학습 데이터인 경우, 기준 시각, 즉, 모니터링의 최초 실행일은 AI 모델의 서비스 시작 시간으로부터 하나의 분석 주기를 도과한 시점이 되어야 동일한 시간 간격으로 모니터링이 실행될 수 있다.
알림 설정 항목(122)은 AI 모델의 모니터링 실행 결과, 임계값을 초과하는 값이 검출되면 노티스(notice)를 전송할 슬랙(slack) 채널을 활성화 시킨다.
분석 주기 항목(108)은 AI 모델 모니터링의 분석 주기를 설정하며, 예를 들어, 도면에서 좌측은 분석 주기 설정의 기본 방식을 도시하며, 우측은 Corn 표현식을 도시한다.
기본 방식은 AI 모델 모니터링의 분석 주기를 일/주/월 단위로 설정할 수 있다. Corn 표현식은 6개의 입력 항목으로 구분된 단위 표현식으로 이루어진 string 문자열로 구성될 수 있으며, 각각의 입력 항목에는 초/분/시/일/월/요일 정보가 세분화 되어 입력될 수 있고, 입력 항목들 사이는 공백(space)으로 구분될 수 있다. 즉, Corn 표현식은 기본 방식에 비해 초/분/시 단위까지 세분화 하여 모니터링 주기를 설정할 수 있다.
도 5를 참조하면, AI 모델 드리프트 모니터링의 등록 화면을 나타내며, 기준 데이터 항목(130)에서 AI 모델의 머신 러닝에 적용된 데이터의 종류가 선택된다.
선택된 데이터가 학습 데이터인 경우, path가 자동 설정되며, AI 모델의 생성 시 사용된 학습 데이터들의 경로에 담겨 있는 스키마 정보, 예를 들어, 학습 데이터들의 대상 피처, 피처 타입 등의 정보가 자동으로 호출되어 화면에 표시된다.
AI 모델 드리프트 모니터링을 위해 기준 시각, 즉, 모니터링의 최초 실행 시각이 설정되어야 한다. 모니터링의 기준 시각은 변경하여 재설정할 수 있다.
스키마 설정 항목(132)은 AI 모델의 학습 데이터가 등록되어 있으면 자동으로 호출하여 셋팅하고, 학습 데이터가 등록되지 않은 경우, 스키마를 수동으로 설정할 수 있다.
일 실시예에서, AI 모델의 학습 데이터의 자동 호출을 위해, AI 모델의 수정 화면으로 이동하여, 학습 데이터를 등록하면, 스키마 설정 항목(132)에 학습 데이터에 관한 대상 피처, 피처 타입 등이 자동 호출될 수 있다.
스키마 설정 항목(132)은, 예를 들어, 대상 피처, 타입, 임계값 항목으로 구분될 수 있으며, 사용자는 특정한 대상 피처를 선택하고, 타입 및 임계값을 수동 설정할 수 있다. 데이터 타입은, 예를 들어, numerical, categorical 등이 될 수 있으며, 이에 제한되지 않는다.
사용자가 임계값 일괄 설정 항목(134)을 체크하고, % 값을 기입하면, 스키마 설정 항목(132)의 임계값에 해당 % 값이 일괄 적용된다.
본 발명의 일 실시예에서, AI 모델의 생성에 사용된 학습 데이터들에 관한 대상 피처들의 값들을 기준값으로 하여, 특정 % 값이 임계값으로 설정될 수 있다.
AI 모델을 모니터링한 결과, 특정 대상 피처의 임계값을 초과하는 결과 값이 검출되면, 전술한 바와 같이, 슬랙 채널에 노티스가 전송될 수 있다.
도 6 및 도 7은 AI 모델의 드리프트 모니터링 결과에 관한 예시적인 화면들을 도시한다.
도 6을 참조하면, 드리프트 정보 요약 항목(202)은 모니터링 ID, 모니터링 상태, 실행 일시, 드리프트 여부 정보를 포함할 수 있다. 모니터링 ID는 모니터링을 실시한 주체의 ID를 표시하며, 모니터링 상태는 모니터링 활성화 여부를 표시할 수 있다.
드리프트 여부는 AI 모델의 데이터 드리프트 발견 시, Y로 표시되고, 미발견 시, N으로 표시될 수 있다.
상위 드리프트 피처 항목(212)은 드리프트 크기(magnitude)가 큰 상위의 피처들과 그 수치를 표시한다. 도면에는, 3개의 상위 피처가 표시되도록 구성되어 있으나, 이에 제한되지 않고, 사용자가 AI 모델 분석에 필요한 범주에서 다양한 개수의 상위 피처가 표시될 수 있다.
새로 고침 버튼(204)은 AI 모델 드리프트 결과 정보를 업데이트 하여 화면에 표시한다.
드리프트 추이 항목(222)은 모니터링의 기간을 설정할 수 있으며, 설정된 기간에서 드리프트 추이가 그래프로 산출될 수 있다.
피처 선택 항목(214)은 드리프트 모니터링에 등록한 피처 목록을 표시하며, 특정 피처를 선택하면, 해당 피처에 대한 드리프트 추이가 그래프로 산출될 수 있다.
도 7을 참조하면, 그래프 영역(224)은 피처 선택 항목(214)을 통해 선택된 피처별 드리프트 추이를 도시하며, 날짜/시간/피처별 변화 추이가 표시된다. 그래프 상에서 특정 시점을 클릭하면, 해당 시점에서의 피처에 관한 테이블이 팝업으로 노출되면서 정보가 표시될 수 있다.
드리프트 이력 항목(232)에는 모든 대상 피처들의 드리프트 크기, 임계값, 드리프팅(drifting) 여부가 표시될 수 있다.
사용자는 드리프트 모니터링 수정 항목(206)을 클릭하여, 기존의 드리프트 모니터링 목록을 수정할 수 있다.
도 8 및 도 9는 AI 모델의 드리프트 정보에 관한 예시적인 화면들을 도시한다.
도 8을 참조하면, 드리프트 설명 항목(302)은 해당 드리프트의 종류, 모니터링 기준 시각을 표시한다.
알림 설정 항목(304)은 모니터링을 실행한 결과로 임계값을 초과하는 값이 검출되면 노티스를 전송할 슬랙 채널의 정보를 표시하며, 슬랙 채널의 정보 수정도 가능하도록 구성될 수 있다.
분석 주기 항목(306)은 드리프트의 분석 주기를 설정하며, 일/주/월 단위로 주기를 설정할 수 있다.
기준 데이터 항목(308)은 학습 데이터가 저장되는 위치를 표시하며, 드리프트 모니터링의 정확성을 위해 기준 데이터의 수정은 불가하나, 모니터링의 기준 시각 변경은 가능하다.
도 9는 AI 모델의 드리프트 정보를 나타내며, 도 5에서 AI 모델의 드리프트 모니터링 등록을 실행하면, 도 9과 같은 화면이 표시될 수 있다. 사용자가 등록 수정 버튼(312)을 클릭하면, 도 5와 같은 화면으로 전환되어, 대상 피처, 타입, 임계값 정보를 변경할 수 있다.
도 10은 본 발명의 일 실시예에 따른 AI 모델 드리프트 모니터링 방법의 순서도이다.
도 10을 참조하면, 본 발명의 AI 모델 드리프트 모니터링 방법에 따르면, AI 모델 드리프트 모니터링 장치(10)는 기준 데이터 셋과 예측 데이터 셋을 선별하여 구성하고, AI 모델의 데이터 드리프트를 모니터링 하는 실행 주기를 설정하며(S100), 기준 데이터 셋과 예측 데이터 셋을 모니터링 주기에 따라 분석하고, 2개 데이터 셋 간의 통계적 차이를 비교하여 미리 설정된 기준 범위의 이탈 여부에 따라 데이터 드리프트를 판별하고(S200), S200 단계의 판별 결과에 따라 데이터 드리프트에 대한 모니터링의 설정 및 실행 주기를 업데이트 한다(S300).
본 발명의 일 실시예에서, AI 모델 드리프트 모니터링 장치(10)는 상기 S100 단계에서, 데이터를 구성하는 피처들 중 분석을 실행할 대상 피처들을 선별하고, 피처별 임계값을 설정할 수 있다.
피처별로 데이터 드리프트의 유발에 영향을 미치는 정도가 상이하며, AI 모델 드리프트 모니터링 장치(10)는 피처 수준(level)의 드리프트 스코어(score)를 기반으로 데이터 드리프트를 유발하는 피처를 분석하고, 피처별로 드리프트 추이를 모니터링 하여, 데이터 드리프트에 영향을 미치는 요인을 파악할 수 있다.
AI 모델 드리프트 모니터링 장치(10)는 상기 S100 단계에서, 상기 S200 단계의 분석 결과, 예측 데이터가 미리 설정된 기준 범위를 이탈하여 데이터 드리프트가 발생하면, 해당 정보를 노티스 할 슬랙 채널을 설정할 수 있다. 슬랙 채널을 통해 데이터 드리프트에 대한 노티스가 전달되면, 새로운 학습 데이터를 이용한 AI 모델의 머신 러닝 실행 등 AI 모델의 업데이트를 위한 후속 조치가 이뤄질 수 있다.
AI 모델 드리프트 모니터링 장치(10)는 상기 S200 단계에서, 대상 피처들의 시간 경과에 따른 드리프트 추세를 모니터링 하여 분석할 수 있으며, 나아가, 데이터 셋을 구성하는 복수의 데이터들의 대상 피처들에 대한 정규화를 위해 범주형 피처는 전체 확률의 합이 1이 되도록 확률 분포로 변환하고, 수치형 피처는 전체 확률의 합이 1이 되도록 가우시안 분포로 가정하여 분석 할 수 있다.
AI 모델 드리프트 모니터링 장치(10)는 상기 S200 단계에서 실행되는 대상 피처들의 드리프트 추세 분석 결과에 따라 S300 단계에서 피처별로 적정한 임계값을 재설정할 수 있다.
여기서, AI 모델의 생성에 사용된 학습 데이터들에 관한 대상 피처들의 값들을 기준값으로 하여, 특정 % 값이 피처별 임계값으로 재설정될 수 있다. 각각의 피처에 의한 데이트 드리프트의 민감도(sensitivity)는 상이하므로, 피처별 임계값은 각각 다르게 설정될 수 있다.
AI 모델 드리프트 모니터링 장치(10)는 상기 S300 단계에서, 기준 데이터 셋과 예측 데이터 셋을 구성하는 데이터들의 확률분포 차이를 계산하는 알고리즘인 드리프트 평가 메트릭을 적용하여 데이터 드리프트를 판별할 수 있다. 확률분포 차이를 계산하는 알고리즘으로, 상용의 Jensen Shannon Divergence(JSD) 및/또는 Kullback Leibler Divergence(KLD)가 사용될 수 있다.
이상에서 설명된 실시예들은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치, 방법 및 구성요소는, 예를 들어, 프로세서, 컨트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로 컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 컨트롤러를 포함할 수 있다. 또한, 병렬 프로세서 (parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody) 될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나, 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드 뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
지금까지 본 발명을 바람직한 실시 예를 참조하여 상세히 설명하였지만, 본 발명이 상기한 실시 예에 한정되는 것은 아니며, 이하의 특허청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형 또는 수정이 가능한 범위까지 본 발명의 기술적 사상이 미친다 할 것이다.
10: AI 모델 드리프트 모니터링 장치 100: 모니터링 설정부
102: 모니터링 등록 버튼 104: 모니터링 설명 항목
106: 기준 시각 항목 108: 분석 주기 항목
110: 대상 피처 설정부 120: 알람 설정부
122: 알람 설정 항목 130: 기준 데이터 항목
132: 스키마 설정 항목 134: 임계값 일괄 설정 항목
200: 모니터링 결과 분석부 202: 드리프트 정보 요약 항목
204: 새로 고침 버튼 206: 드리프트 모니터링 수정 항목
210: 피처 분석부 212: 상위 드리프트 피처 항목
214: 피처 선택 항목 220: 그래픽 처리부
222: 드리프트 추이 항목 224: 그래프 영역
230: 드리프트 이력 조회부 232: 드리프트 이력 항목
300: 모니터링 실행 수정부 302: 드리프트 설명 항목
304: 알림 설정 항목 306: 분석 주기 항목
308: 기준 데이터 항목 310: 피처별 임계값 수정부
312: 등록 수정 버튼

Claims (16)

  1. 기준 데이터 셋과 예측 데이터 셋을 선별하여 구성하고, AI 모델의 데이터 드리프트를 모니터링 하는 실행 주기를 설정하는 모니터링 설정부;
    상기 기준 데이터 셋과 예측 데이터 셋을 모니터링 주기에 따라 분석하고, 2개 데이터 셋 간의 통계적 차이를 비교하여 미리 설정된 기준 범위의 이탈 여부에 따라 데이터 드리프트를 판별하는 모니터링 결과 분석부; 및
    상기 모니터링 결과 분석부의 분석 결과에 따라 데이터 드리프트에 대한 모니터링의 설정 및 실행 주기를 업데이트 하는 모니터링 실행 수정부;를 포함하는 것을 특징으로 하는 AI 모델 드리프트 모니터링 장치.
  2. 제1항에 있어서,
    상기 모니터링 결과 분석부는,
    상기 기준 데이터 셋과 예측 데이터 셋을 구성하는 데이터들의 확률분포 차이를 계산하는 알고리즘인 드리프트 평가 메트릭을 적용하여 데이터 드리프트를 판별하는 것을 특징으로 하는 AI 모델 드리프트 모니터링 장치.
  3. 제1항에 있어서,
    상기 모니터링 설정부는,
    데이터를 구성하는 피처들 중 분석을 실행할 대상 피처들을 선별하고, 피처별 임계값을 설정하는 대상 피처 설정부;를 포함하는 것을 특징으로 하는 AI 모델 드리프트 모니터링 장치.
  4. 제3항에 있어서,
    상기 모니터링 결과 분석부는,
    상기 대상 피처들의 시간 경과에 따른 드리프트 추세를 모니터링 하여 분석하는 피처 분석부;를 포함하는 것을 특징으로 하는 AI 모델 드리프트 모니터링 장치.
  5. 제4항에 있어서,
    상기 피처 분석부는,
    데이터 셋을 구성하는 복수의 데이터들의 대상 피처들에 대한 정규화를 위해 범주형 피처는 전체 확률의 합이 1이 되도록 확률 분포로 변환하고, 수치형 피처는 전체 확률의 합이 1이 되도록 가우시안 분포로 가정하여 분석하는 것을 특징으로 하는 AI 모델 드리프트 모니터링 장치.
  6. 제4항에 있어서,
    상기 모니터링 실행 수정부는,
    상기 피처 분석부의 분석 결과에 따라 피처별로 적정한 임계값을 재설정하는 피처별 임계값 수정부;를 포함하는 것을 특징으로 하는 AI 모델 드리프트 모니터링 장치.
  7. 제1항에 있어서,
    상기 모니터링 설정부는,
    상기 모니터링 결과 분석부의 분석 결과, 예측 데이터가 미리 설정된 기준 범위를 이탈하여 데이터 드리프트가 발생하면, 해당 정보를 노티스 할 슬랙 채널을 설정하는 알람 설정부;를 포함하는 것을 특징으로 하는 AI 모델 드리프트 모니터링 장치.
  8. 제1항에 있어서,
    상기 기준 데이터 셋은,
    AI 모델 생성 시에 사용된 데이터들로 구성되는 학습 데이터 셋, 또는 AI 모델의 서빙 이후 입력되는 데이터들로 구성되는 과거 데이터 셋인 것을 특징으로 하는 AI 모델 드리프트 모니터링 장치.
  9. (a) 기준 데이터 셋과 예측 데이터 셋을 선별하여 구성하고, AI 모델의 데이터 드리프트를 모니터링 하는 실행 주기를 설정하는 단계;
    (b) 상기 기준 데이터 셋과 예측 데이터 셋을 모니터링 주기에 따라 분석하고, 2개 데이터 셋 간의 통계적 차이를 비교하여 미리 설정된 기준 범위의 이탈 여부에 따라 데이터 드리프트를 판별하는 단계; 및
    (c) 상기 판별 결과에 따라 데이터 드리프트에 대한 모니터링의 설정 및 실행 주기를 업데이트 하는 단계;를 포함하는 것을 특징으로 하는 AI 모델 드리프트 모니터링 방법.
  10. 제9항에 있어서,
    상기 (a) 단계는,
    데이터를 구성하는 피처들 중 분석을 실행할 대상 피처들을 선별하고, 피처별 임계값을 설정하는 단계;를 포함하는 것을 특징으로 하는 AI 모델 드리프트 모니터링 방법.
  11. 제10항에 있어서,
    상기 (b) 단계는,
    상기 대상 피처들의 시간 경과에 따른 드리프트 추세를 모니터링 하여 분석하는 단계;를 포함하는 것을 특징으로 하는 AI 모델 드리프트 모니터링 방법.
  12. 제11항에 있어서,
    상기 (b) 단계는,
    데이터 셋을 구성하는 복수의 데이터들의 대상 피처들에 대한 정규화를 위해 범주형 피처는 전체 확률의 합이 1이 되도록 확률 분포로 변환하고, 수치형 피처는 전체 확률의 합이 1이 되도록 가우시안 분포로 가정하는 단계;를 포함하는 것을 특징으로 하는 AI 모델 드리프트 모니터링 방법.
  13. 제11항에 있어서,
    상기 (c) 단계는,
    상기 (b) 단계의 분석 결과에 따라 피처별로 적정한 임계값을 재설정하는 단계;를 포함하는 것을 특징으로 하는 AI 모델 드리프트 모니터링 방법.
  14. 제9항에 있어서,
    상기 (a) 단계는,
    상기 (b) 단계의 분석 결과, 예측 데이터가 미리 설정된 기준 범위를 이탈하여 데이터 드리프트가 발생하면, 해당 정보를 노티스 할 슬랙 채널을 설정하는 단계;를 포함하는 것을 특징으로 하는 AI 모델 드리프트 모니터링 방법.
  15. 제9항에 있어서,
    상기 (b) 단계는,
    상기 기준 데이터 셋과 예측 데이터 셋을 구성하는 데이터들의 확률분포 차이를 계산하는 알고리즘인 드리프트 평가 메트릭을 적용하여 데이터 드리프트를 판별하는 단계;를 포함하는 것을 특징으로 하는 AI 모델 드리프트 모니터링 방법.
  16. 제9항에 있어서,
    상기 기준 데이터 셋은,
    AI 모델 생성 시에 사용된 데이터들로 구성되는 학습 데이터 셋, 또는 AI 모델의 서빙 이후 입력되는 데이터들로 구성되는 과거 데이터 셋인 것을 특징으로 하는 AI 모델 드리프트 모니터링 방법.
KR1020210160214A 2021-11-19 2021-11-19 Ai 모델 드리프트 모니터링 장치 및 방법 KR20230073632A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020210160214A KR20230073632A (ko) 2021-11-19 2021-11-19 Ai 모델 드리프트 모니터링 장치 및 방법
PCT/KR2022/018011 WO2023090825A1 (ko) 2021-11-19 2022-11-15 Ai 모델 드리프트 모니터링 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210160214A KR20230073632A (ko) 2021-11-19 2021-11-19 Ai 모델 드리프트 모니터링 장치 및 방법

Publications (1)

Publication Number Publication Date
KR20230073632A true KR20230073632A (ko) 2023-05-26

Family

ID=86397328

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210160214A KR20230073632A (ko) 2021-11-19 2021-11-19 Ai 모델 드리프트 모니터링 장치 및 방법

Country Status (2)

Country Link
KR (1) KR20230073632A (ko)
WO (1) WO2023090825A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117249873B (zh) * 2023-11-20 2024-01-30 精智未来(广州)智能科技有限公司 一种用于气体分子分析的质量监测方法及设备

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101478327B1 (ko) * 2013-01-28 2014-12-31 네이버 주식회사 시스템 최적화 모니터링 및 오동작 방지 장치, 방법 및 컴퓨터 판독 가능한 기록 매체
KR102561702B1 (ko) * 2016-03-17 2023-08-01 한국전자통신연구원 시스템 장애 모니터링 방법 및 장치
US11347613B2 (en) * 2019-10-15 2022-05-31 UiPath, Inc. Inserting probabilistic models in deterministic workflows for robotic process automation and supervisor system

Also Published As

Publication number Publication date
WO2023090825A1 (ko) 2023-05-25

Similar Documents

Publication Publication Date Title
US11367022B2 (en) System and method for evaluating and deploying unsupervised or semi-supervised machine learning models
US20190318288A1 (en) Computer Systems And Methods For Performing Root Cause Analysis And Building A Predictive Model For Rare Event Occurrences In Plant-Wide Operations
US20180017959A1 (en) Methods and systems for context based operator assistance for control systems
CN107644194A (zh) 提供监控数据的系统和方法
US11669771B2 (en) Learning system, analysis system, learning method, and storage medium
US9946629B2 (en) System, method and apparatus for deriving root cause for software test failure
CN112818066A (zh) 一种时序数据异常检测方法、装置及电子设备和存储介质
KR20200122687A (ko) 상품 판매량 예측 방법, 장치 및 시스템
KR20230073632A (ko) Ai 모델 드리프트 모니터링 장치 및 방법
CA3127100A1 (en) Anomaly detection for predictive maintenance and deriving outcomes and workflows based on data quality
US11004002B2 (en) Information processing system, change point detection method, and recording medium
JPWO2017150286A1 (ja) システム分析装置、システム分析方法、及び、プログラム
Avritzer et al. Scalability testing automation using multivariate characterization and detection of software performance antipatterns
US11265232B2 (en) IoT stream data quality measurement indicator and profiling method and system therefor
AU2023203898B2 (en) Method For Managing Plant, Plant Design Device, And Plant Management Device
KR20190122983A (ko) 비정상 이벤트 탐지 방법 및 장치
KR20200033726A (ko) 데이터 처리 방법, 데이터 처리 장치, 및 데이터 처리 프로그램을 저장한 컴퓨터 판독 가능한 기록 매체
US11080613B1 (en) Process monitoring based on large-scale combination of time series data
US11775512B2 (en) Data analysis apparatus, method and system
US20220147039A1 (en) Event analytics in modular industrial plants
WO2016160008A1 (en) Graphs with normalized actual value measurements and baseline bands representative of normalized measurement ranges
US20220201888A1 (en) Process and system for managing carrier systems
EP3671467A1 (en) Gui application testing using bots
JPWO2020194716A1 (ja) 学習装置、学習方法及びプログラム
US11675342B2 (en) AI-based smart health surveillance system and method