KR20190122983A - 비정상 이벤트 탐지 방법 및 장치 - Google Patents

비정상 이벤트 탐지 방법 및 장치 Download PDF

Info

Publication number
KR20190122983A
KR20190122983A KR1020180046574A KR20180046574A KR20190122983A KR 20190122983 A KR20190122983 A KR 20190122983A KR 1020180046574 A KR1020180046574 A KR 1020180046574A KR 20180046574 A KR20180046574 A KR 20180046574A KR 20190122983 A KR20190122983 A KR 20190122983A
Authority
KR
South Korea
Prior art keywords
abnormal event
data
processor
regression model
abnormal
Prior art date
Application number
KR1020180046574A
Other languages
English (en)
Other versions
KR102448431B1 (ko
Inventor
이은조
안진옥
강병수
엄혜민
Original Assignee
주식회사 엔씨소프트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 엔씨소프트 filed Critical 주식회사 엔씨소프트
Priority to KR1020180046574A priority Critical patent/KR102448431B1/ko
Publication of KR20190122983A publication Critical patent/KR20190122983A/ko
Application granted granted Critical
Publication of KR102448431B1 publication Critical patent/KR102448431B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00—Testing or monitoring of control systems or parts thereof
    • G05B23/02—Electric testing or monitoring
    • G05B23/0205—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
    • G05B23/0218—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterised by the fault detection method dealing with either existing or incipient faults
    • G05B23/0224—Process history based detection method, e.g. whereby history implies the availability of large amounts of data
    • G05B23/024—Quantitative history assessment, e.g. mathematical relationships between available data; Functions therefor; Principal component analysis [PCA]; Partial least square [PLS]; Statistical classifiers, e.g. Bayesian networks, linear regression or correlation analysis; Neural networks
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/70—Game security or game management aspects
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00—Testing or monitoring of control systems or parts thereof
    • G05B23/02—Electric testing or monitoring
    • G05B23/0205—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
    • G05B23/0218—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterised by the fault detection method dealing with either existing or incipient faults
    • G05B23/0224—Process history based detection method, e.g. whereby history implies the availability of large amounts of data
    • G05B23/0227—Qualitative history assessment, whereby the type of data acted upon, e.g. waveforms, images or patterns, is not relevant, e.g. rule based assessment; if-then decisions
    • G05B23/0235—Qualitative history assessment, whereby the type of data acted upon, e.g. waveforms, images or patterns, is not relevant, e.g. rule based assessment; if-then decisions based on a comparison with predetermined threshold or range, e.g. "classical methods", carried out during normal operation; threshold adaptation or choice; when or how to compare with the threshold
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00—Testing or monitoring of control systems or parts thereof
    • G05B23/02—Electric testing or monitoring
    • G05B23/0205—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
    • G05B23/0259—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterized by the response to fault detection
    • G05B23/0267—Fault communication, e.g. human machine interface [HMI]
    • G05B23/027—Alarm generation, e.g. communication protocol; Forms of alarm
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00—Testing or monitoring of control systems or parts thereof
    • G05B23/02—Electric testing or monitoring
    • G05B23/0205—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
    • G05B23/0259—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterized by the response to fault detection
    • G05B23/0275—Fault isolation and identification, e.g. classify fault; estimate cause or root of failure

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Business, Economics & Management (AREA)
  • Computer Security & Cryptography (AREA)
  • General Business, Economics & Management (AREA)
  • Human Computer Interaction (AREA)
  • Debugging And Monitoring (AREA)
  • Manipulator (AREA)

Abstract

비정상 이벤트 탐지를 위한 방법이 개시된다.
일 실시예에 따르면, 비정상 이벤트 탐지를 위한 방법은 과거에 발생한 참조 데이터를 처리하여 회귀 모델을 결정하는 동작; 비정상 이벤트 탐지의 대상이 되는 실제 데이터 및 상기 회귀 모델로부터 예측된 예측 데이터의 신뢰 구간을 이용하여 비정상 이벤트를 탐지하는 동작; 및 상기 예측 데이터와 상기 실제 데이터 간 차이의 누적값을 이용하여 비정상 이벤트를 탐지하는 동작을 포함할 수 있다.

Description

비정상 이벤트 탐지 방법 및 장치{METHOD AND APPARATUS FOR DETECTING ABNORMAL EVENTS}
아래 실시예들은 비정상 이벤트를 탐지하기 위한 방법 및 그 방법들을 이용한 장치에 관한 것이다.
게임 서비스를 운영할 때 게임 유저들의 버그 사용 등과 같은 어뷰징이 발생할 수 있다. 이 경우 게임 내 재화가 비정상적으로 급격히 증가하게 되고 이로 인해 게임 서비스에 치명적인 영향을 미칠 수 있다.
일반적으로 게임 서비스의 운영자는 어뷰징이 발생하는 것을 차단하기 위하여 게임 내 주요 지표에 대하여 비정상적인 이벤트의 발생 여부를 모니터링 한다. 비정상적인 이벤트는 확률상 매우 드물게 발생하기 때문에 게임 서비스의 운영자가 실시간으로 다양한 지표를 모니터링하는 것은 시간과 비용적인 측면에서 비효율적일 수 있다. 따라서, 게임 서비스의 운영자에 의한 지속적인 모니터링 없이 자동으로 비정상 이벤트를 탐지하는 기술이 요구된다.
일 실시예에 따른 비정상 이벤트 탐지 방법은, 과거에 발생한 참조 데이터를 처리하여 회귀 모델을 결정하는 동작; 비정상 이벤트 탐지의 대상이 되는 실제 데이터 및 상기 회귀 모델로부터 예측된 예측 데이터의 신뢰 구간을 이용하여 비정상 이벤트를 탐지하는 동작; 및 상기 실제 데이터와 상기 예측 데이터 간 차이의 누적값을 이용하여 비정상 이벤트를 탐지하는 동작을 포함할 수 있다.
일 실시예에 따른 상기 회귀 모델을 결정하는 동작은, 상기 참조 데이터의 주기성을 나타내는 주기 정보, 상기 참조 데이터의 증감에 영향을 미치는 이벤트 정보 및 상기 참조 데이터의 추세를 나타내는 추세 정보를 추출하는 동작; 및 상기 주기 정보, 이벤트 정보 및 추세 정보에 기초하여 상기 참조 데이터의 변동 패턴을 회귀 분석하는 동작을 포함할 수 있다.
일 실시예에 따른 상기 신뢰 구간을 이용하여 비정상 이벤트를 탐지하는 동작은, 상기 예측 데이터의 신뢰 구간을 결정하는 동작; 및 상기 실제 데이터가 상기 신뢰 구간을 벗어나는지 여부를 탐지하는 동작을 포함할 수 있다.
일 실시예에 따른 비정상 이벤트 탐지 방법은, 상기 비정상 이벤트의 발생에 대하여 미리 설정된 조건을 만족하는 경우, 사용자에게 알림을 전달하는 동작을 더 포함할 수 있다.
일 실시예에 따른 상기 누적값을 이용하여 비정상 이벤트를 탐지하는 동작은, 상기 실제 데이터와 상기 예측 데이터 간 차이의 누적값을 결정하는 동작; 및 상기 누적값의 평균에 대한 절대값이 미리 설정된 임계값을 초과하는 경우 사용자에게 알림을 전달하는 동작을 포함할 수 있다.
일 실시예에 따른 비정상 이벤트 탐지 방법은, 상기 비정상 이벤트가 발생한 경우, 비정상 이벤트 발생의 원인을 분석하는 동작; 및 상기 원인이 상기 회귀 모델의 오류에 의한 것인 경우, 상기 회귀 모델을 업데이트 하는 동작을 더 포함할 수 있다.
일 실시예에 따른 비정상 이벤트 탐지 장치에 있어서, 프로세서를 포함하고, 상기 프로세서는, 과거에 발생한 참조 데이터를 처리하여 회귀 모델을 결정하고, 비정상 이벤트 탐지의 대상이 되는 실제 데이터 및 상기 회귀 모델로부터 예측된 예측 데이터의 신뢰 구간을 이용하여 비정상 이벤트를 탐지하고, 상기 실제 데이터와 상기 예측 데이터 간 차이의 누적값을 이용하여 비정상 이벤트를 탐지할 수 있다.
일 실시예에 따른 상기 프로세서는, 상기 참조 데이터의 주기성을 나타내는 주기 정보, 상기 참조 데이터의 증감에 영향을 미치는 이벤트 정보 및 상기 참조 데이터의 추세를 나타내는 추세 정보를 추출하고, 상기 주기 정보, 이벤트 정보 및 추세 정보에 기초하여 상기 참조 데이터의 변동 패턴을 회귀 분석할 수 있다.
일 실시예에 따른 상기 프로세서는, 상기 예측 데이터의 신뢰 구간을 결정하고, 상기 실제 데이터가 상기 신뢰 구간을 벗어나는지 여부를 탐지할 수 있다.
일 실시예에 따른 상기 프로세서는, 상기 비정상 이벤트의 발생에 대하여 미리 설정된 조건을 만족하는 경우, 사용자에게 알림을 전달할 수 있다.
일 실시예에 따른 상기 프로세서는, 상기 실제 데이터와 상기 예측 데이터 간 차이의 누적값을 결정하고, 상기 누적값의 평균에 대한 절대값이 미리 설정된 임계값을 초과하는 경우 사용자에게 알림을 전달할 수 있다.
일 실시예에 따른 상기 프로세서는, 상기 비정상 이벤트가 발생한 경우, 비정상 이벤트 발생의 원인을 분석하고, 상기 원인이 상기 회귀 모델의 오류에 의한 것인 경우, 상기 회귀 모델을 업데이트 할 수 있다.
도 1은 일 실시예에 따른 비정상 이벤트 탐지 장치를 도시한 도면이다.
도 2는 일 실시예에 따른 비정상 이벤트 탐지 방법을 나타내는 플로우 차트이다.
도 3은 일 실시예에 따른 회귀 모델 생성 및 회귀 모델을 통한 예측 과정을 도시한 도면이다.
도 4는 일 실시예에 따른 실제 데이터 및 예측 데이터의 신뢰 구간을 이용하여 비정상 이벤트를 탐지하는 방법을 도시한 도면이다.
도 5는 일 실시예에 따른 실제 데이터와 예측 데이터 간 차이의 누적값을 이용하여 비정상 이벤트를 탐지하는 방법을 도시한 도면이다.
실시예들에 대한 특정한 구조적 또는 기능적 설명들은 단지 예시를 위한 목적으로 개시된 것으로서, 다양한 형태로 변경되어 실시될 수 있다. 따라서, 실시예들은 특정한 개시형태로 한정되는 것이 아니며, 본 명세서의 범위는 기술적 사상에 포함되는 변경, 균등물, 또는 대체물을 포함한다.
제1 또는 제2 등의 용어를 다양한 구성요소들을 설명하는데 사용될 수 있지만, 이런 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 해석되어야 한다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설명된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함으로 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 해당 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
본 명세서에서 사용자는 게임 서비스를 제공하는 주체로서, 예를 들어, 게임 서비스의 운영자를 포함할 수 있다. 그리고, 게임 서비스 내 유저는 게임 서비스를 제공 받아 게임 서비스를 이용하는 플레이어이다.
비정상 이벤트는 게임 서비스 내 컨텐츠의 변경, 게임 서비스의 마케팅 전략 변경과 같은 사용자의 게임 서비스에 대한 설정 또는 게임 서비스 내 유저의 플레이 패턴 변화 등과 같은 원인에 의해 발생한 이벤트가 아닌 게임 서비스 내 유저의 버그 등을 이용한 어뷰징에 의해 발생하는 이벤트이다.
참조 데이터는 게임 서비스 내 특정 지표와 관련하여 과거에 발생한 데이터일 수 있다. 여기서, 일 실시예에 따른 게임 서비스 내 특정 지표는 게임 내 화폐, 아이템 등과 같은 게임 내 재화를 포함할 수 있다. 그리고, 실제 데이터는 게임 서비스 내 특정 지표와 관련하여 참조 데이터 이후에 실제로 발생한 데이터로서, 비정상 이벤트 탐지의 대상이 되는 데이터일 수 있다.
도 1은 일 실시예에 따른 비정상 이벤트 탐지 장치를 도시한 도면일 수 있다.
도 1을 참조하면, 비정상 이벤트 탐지 장치(100)는 비정상 이벤트를 탐지하기 위한 프로세서를 포함할 수 있다. 비정상 이벤트 탐지 장치(100)의 프로세서는 소프트웨어 모듈, 하드웨어 모듈 또는 이들의 조합으로 구현될 수 있다.
비정상 이벤트 탐지 장치(100)는 비정상 이벤트의 발생을 탐지하기 위하여 데이터를 입력 받을 수 있다. 비정상 이벤트 탐지 장치(100)에 입력되는 데이터는 참조 데이터 및 실제 데이터를 포함할 수 있다.
비정상 이벤트 탐지 장치(100)의 프로세서는 비정상 이벤트 탐지 장치(100)에 입력된 데이터를 이용하여 비정상 이벤트를 탐지하기 위한 회귀 모델을 모델링할 수 있다. 회귀 모델은 주어진 데이터 간에 나타나는 경향성을 설명하기 위한 모델로서, 데이터를 설명해 줄 수 있는 중심적인 경향을 찾는 것을 목적으로 한다.
프로세서는 모델링한 회귀 모델을 통해 비정상 이벤트의 발생 여부를 결정할 수 있다. 그리고, 비정상 이벤트가 발생한 경우, 프로세서는 사용자에게 비정상 이벤트 발생에 대한 알림을 전달할 수 있다.
도 2는 일 실시예에 따른 비정상 이벤트 탐지 방법을 나타내는 플로우 차트일 수 있다.
동작(200)에서, 비정상 이벤트 탐지 장치(100)는 데이터를 수신할 수 있다. 이 때, 데이터는 참조 데이터 및 실제 데이터를 포함할 수 있다. 비정상 이벤트 탐지 장치(100)의 프로세서는 참조 데이터를 처리하여 비정상 이벤트를 탐지하기 위한 회귀 모델을 생성할 수 있다.
보다 구체적으로, 프로세서는 참조 데이터로부터 복수의 정보를 추출할 수 있다. 이 때, 참조 데이터로부터 추출한 복수의 정보는 참조 데이터의 주기성을 나타내는 주기 정보, 참조 데이터의 증감에 영향을 미치는 이벤트 정보 및 참조 데이터의 추세를 나타내는 추세 정보를 포함할 수 있다. 그리고, 프로세서는 추출한 주기 정보, 이벤트 정보 및 추세 정보를 이용하여 참조 데이터의 변동 패턴을 회귀 분석함으로써 비정상 이벤트를 탐지하기 위한 회귀 모델을 생성할 수 있다.
프로세서는 참조 데이터부터 추출한 복수의 정보를 이용하여 생성된 회귀 모델을 통해 비정상 이벤트 탐지를 위한 예측 데이터를 생성할 수 있다. 여기서, 예측 데이터는 참조 데이터 이후에 발생할 실제 데이터에 대한 예측값일 수 있다.
동작(201)에서, 프로세서는 동작(200)에서 회귀 모델을 통해 생성된 예측 데이터의 신뢰 구간을 이용하여 비정상 이벤트의 발생 여부에 대한 1차 탐지를 수행할 수 있다.
프로세서는 예측 데이터의 신뢰 구간을 결정하고, 실제 데이터와 예측 데이터를 비교할 수 있다. 그리고, 프로세서는 실제 데이터와 예측 데이터의 비교 결과, 실제 데이터가 예측 데이터의 신뢰 구간을 벗어나는 값을 포함 하는지 여부를 탐지할 수 있다. 이 때, 실제 데이터가 예측 데이터의 신뢰 구간을 벗어나는 값을 포함하는 경우, 프로세서는 해당 실제 데이터 값을 비정상으로 결정하고, 비정상 실제 데이터의 발생에 원인이되는 이벤트를 비정상 이벤트로 결정할 수 있다.
동작(201)에서 프로세서가 수행하는 1차 탐지는 비정상 이벤트로 인하여 게임 서비스 내 특정 지표가 급격히 변화하는 경우에 적용이 가능하지만, 게임 서비스 내 소수의 게임 유저에 의한 어뷰징으로 인해 게임 서비스 내 특정 지표가 급격한 변화 없이 점진적으로 변화하는 경우에는 비정상 이벤트를 탐지에 한계가 있을 수 있다. 따라서, 프로세서는 동작(201)에서 수행하는 비정상 이벤트에 대한 1차 탐지 이외에 동작(202)를 통해 비정상 이벤트에 대한 2차 탐지를 수행할 수 있다.
동작(202)에서, 프로세서는 동작(200)에서 게임 서비스 내에서 실제로 발생한 실제 데이터와 회귀 모델을 통해 생성된 예측 데이터 간 차이의 누적값을 이용하여 비정상 이벤트의 발생 여부에 대한 2차 탐지를 수행할 수 있다.
프로세서는 실제 데이터와 예측 데이터 간 차이를 결정할 수 있다. 그리고, 프로세서는 결정된 차이의 누적값의 평균이 일정 규모 이상이 되는지 여부를 탐지할 수 있다. 이 때, 실제 데이터와 예측 데이터 간 차이의 누적값이 일정 규모 이상이 되는 경우, 프로세서는 해당 실제 데이터에 비정상 이벤트가 발생한 것으로 결정할 수 있다.
동작(203)에서, 프로세서는 비정상 이벤트의 발생 사실에 대한 알림을 사용자에게 전달할 수 있다.
1차 탐지 또는 2차 탐지 중 적어도 하나에 의해 비정상 이벤트의 발생이 탐지된 경우, 프로세서는 사용자에게 비정상 이벤트 발생에 대한 알림을 전달할 수 있다.
특히, 1차 탐지를 통해 비정상 이벤트의 발생이 탐지된 경우, 프로세서는 탐지 오류로 인해 빈번한 알림이 발생하는 것을 방지하기 위하여 비정상 이벤트의 발생이 미리 설정된 조건을 만족하는 경우 사용자에게 알림을 전달할 수 있다.
동작(204)에서, 프로세서는 1차 탐지 또는 2차 탐지 중 적어도 하나에 의해 탐지된 비정상 이벤트의 발생 원인을 분석하여 탐지된 비정상 이벤트가 게임 서비스 내 유저의 어뷰징에 의해 발생한 것인지 여부를 결정할 수 있다.
동작(205)에서, 프로세서는 비정상 이벤트의 발생 원인을 참고하여 동작(200)에서 생성한 회귀 모델의 업데이트 여부를 결정할 수 있다.
보다 구체적으로, 동작(204)에서 분석한 비정상 이벤트의 발생 원인이 게임 서비스 내 유저의 어뷰징이 아닌 경우, 프로세서는 동작(200)에서 모델링한 회귀 모델의 업데이트를 결정할 수 있다. 예를 들어, 게임 서비스 내 유저의 어뷰징이 아닌 게임 서비스 내 컨텐츠, 게임 서비스의 마케팅 전략 또는 게임 서비스 내 유저의 플레이 패턴 변화 등에 의해 비정상 이벤트가 발생한 경우, 프로세서는 해당 발생 원인을 반영하여 회귀 모델을 업데이트 할 것을 결정할 수 있다.
도 3은 일 실시예에 따른 회귀 모델 생성 및 회귀 모델을 통한 예측 과정을 도시한 도면이다.
도 3을 참조하면, 비정상 이벤트 탐지 장치(100)의 프로세서는 비정상 이벤트 탐지를 위한 회귀 모델을 모델링 할 수 있다. 그리고, 프로세서는 모델링한 회귀 모델을 이용하여 게임 내 지표의 증감량에 대한 예측 데이터를 생성하고, 생성된 예측 데이터를 이용하여 비정상 이벤트의 탐지를 수행할 수 있다. 프로세서는 지속적인 비정상 이벤트 발생에 대한 모니터링을 위해 위의 과정을 반복적으로 수행할 수 있다.
비정상 이벤트 탐지 장치(100)는 게임 서비스에 대한 데이터를 수신할 수 있고, 비정상 이벤트 탐지 장치(100)의 프로세서는 비정상 이벤트 탐지 장치(100)가 수신한 데이터 중 게임 서비스 내 복수의 지표에 대한 과거 정보를 포함하고 있는 참조 데이터에 대하여 전처리를 수행할 수 있다. 그리고, 프로세서는 전처리 된 참조 데이터를 이용하여 비정상 이벤트 탐지를 위한 회귀 모델을 생성할 수 있다.
보다 구체적으로, 프로세서는 참조 데이터에 포함된 특정 지표에 대하여 전처리를 수행할 수 있다. 예를 들어, 프로세서는 게임 서비스 내 재화에 대하여 아래의 표 1과 같은 형식으로 전처리를 수행할 수 있다.
재화 증감량 일시 이벤트 변수1 이벤트 변수2 ...
123,456,789 2018-04-02 09:00:00 0 1 ...
123,789,456 2018-04-02 10:00:00 0 0 ...
132,453,987 2018-04-02 11:00:00 1 0 ...
... ... 1 0 ...
그리고, 프로세서는 전처리 된 참조 데이터로부터 복수의 정보를 추출할 수 있다. 이 때, 복수의 정보는 요일, 시간대 등과 같이 시간 주기에 대한 정보를 나타내는 주기 정보, 재화의 증감에 영향을 미치는 게임 서비스 내 이벤트 정보(이벤트가 발생하면 1, 이벤트가 발생하지 않으면 0), 재화의 전반적인 증감량의 상승/하락 추세를 나타내는 추세 정보 등을 포함할 수 있다. 여기서, 표 1의 게임 서비스 내 지표 및 형식은 일례에 불과하고, 게임 서비스 내 지표 및 프로세서에 의해 전처리 된 참조 데이터의 형식은 이에 한정되지 않는다.
프로세서는 참조 데이터로부터 추출된 복수의 정보를 이용하여 비정상 이벤트의 탐지에 이용될 예측 데이터를 생성하기 위한 회귀 모델을 생성할 수 있다. 프로세서는 Time-Windowing 방식을 이용하여 회귀 모델을 모델링 할 수 있다. 이 때, Time-Windowing의 주기는 일반적인 회귀 모델의 튜닝 과정을 통해 결정될 수 있다.
도 4는 일 실시예에 따른 실제 데이터 및 예측 데이터의 신뢰 구간을 이용하여 비정상 이벤트를 탐지하는 방법을 도시한 도면이다.
비정상 이벤트 탐지 장치(100)의 프로세서는 단순히 회귀 모델로부터 생성된 예측 데이터를 이용하여 비정상 이벤트를 탐지하기에 앞서, 회귀 모델을 통해 생성된 예측 데이터의 신뢰 구간을 결정할 수 있다. 프로세서는 설정한 신뢰 구간을 이용하여 게임 서비스 내에서 실제로 발생한 실제 데이터에 비정상 이벤트가 발생했는지 여부에 대한 1차 탐지를 수행할 수 있다. 그리고, 프로세서는 1차 탐지 결과 실제 데이터에 비정상 이벤트가 발생한 경우 사용자에게 알림을 전달할 수 있다. 또한, 프로세서는 비정상 이벤트의 발생 원인을 분석하여 회귀 모델의 업데이트 필요 여부를 판단하여, 회귀 모델의 업데이트가 필요한 경우 기존의 회귀 모델을 업데이트한 새로운 회귀 모델을 생성할 수 있다.
보다 구체적으로, 예측 데이터는 과거에 발생한 데이터인 참조 데이터를 이용하여 모델링 된 회귀 모델을 통해 생성된 점추정치들의 집합으로서, 예측 데이터만을 이용하여 게임 서비스 내에서 실제로 발생한 실제 데이터의 비정상 이벤트를 탐지하는 경우 신뢰도에 문제가 생길 수 있다. 따라서, 프로세서는 단순히 회귀 모델을 통해 생성된 예측 데이터를 이용하여 비정상 이벤트를 탐지하기에 앞서, 회귀 모델을 통해 생성된 예측 데이터의 신뢰 구간을 결정할 수 있다. 프로세서는 예측 데이터를 중심으로 예측 데이터의 상한선과 예측 데이터의 하한선을 결정할 수 있고, 예측 데이터의 상한선과 예측 데이터의 하한선 사이 구간을 신뢰 구간으로 결정할 수 있다.
프로세서는 결정된 신뢰 구간을 이용하여 게임 서비스 내 비정상 이벤트의 발생 여부를 판단할 수 있다. 프로세서는 실제 데이터와 신뢰 구간을 비교하여, 실제 데이터가 예측 데이터의 신뢰 구간 범위 내에 존재하는 경우 게임 서비스 내 비정상 이벤트가 발생하지 않은 것으로 판단할 수 있다. 그러나, 시점(400)과 같이 실제 데이터가 예측 데이터의 신뢰 구간을 벗어나 존재하는 경우, 프로세서는 게임 서비스 내 비정상 데이터가 발생한 것으로 판단하고, 사용자에게 비정상 이벤트의 발생 사실에 대한 알림을 전달할 수 있다.
예측 데이터의 신뢰 구간을 이용하여 비정상 이벤트의 발생을 탐지한 경우, 프로세서는 비정상 이벤트의 발생 사실에 대한 알림을 사용자에게 전달하기 전에 추가적인 과정을 수행할 수 있다.
예측 데이터의 신뢰 구간을 이용하여 비정상 이벤트를 탐지하는 경우, 프로세서는 실제 데이터 값이 예측 데이터의 신뢰 구간을 얼마나 벗어났는지에 대한 판단 없이 단순히 신뢰 구간을 벗어나기만 하면 비정상 이벤트가 발생한 것으로 판단할 수 있다. 그러나, 위에서 언급한 바와 같이 예측 데이터는 과거에 발생한 데이터인 참조 데이터를 이용하여 모델링 된 회귀 모델을 통해 생성되었기 때문에 비정상 이벤트 탐지에 있어서 신뢰 구간이 완벽하지 않을 수 있다. 따라서, 실제로는 비정상 이벤트가 발생하지 않았음에도 불구하고 오류에 의한 비정상 이벤트의 탐지가 발생할 수 있고, 이로 인해 사용자에게 비정상 이벤트 발생에 대한 알림이 빈번하게 전달될 수 있다.
이러한 케이스를 방지하기 위하여 프로세서는 비정상 이벤트를 탐지 하더라도 미리 설정된 조건을 만족하는 경우에만 사용자에게 알림을 전달할 수 있다. 예를 들어, 프로세서는 미리 설정된 N시간 동안 미리 설정된 X번 만큼 비정상 이벤트가 탐지된 경우에 사용자에게 알림을 전송할 수 있다.
프로세서는 탐지된 비정상 이벤트의 발생 원인을 분석하고, 분석한 발생 원인에 기초하여 회귀 모델을 업데이트 할 수 있다. 비정상 이벤트는 게임 서비스 내 유저의 어뷰징에 의해 발생하는 경우 이외에도 회귀 모델이 업데이트 되지 않은 경우 발생할 수 있다.
예를 들어, 매주 특정 요일에 발생하는 게임 서비스 내 핵심 컨텐츠 추가와 같은 게임 서비스 내 컨텐츠의 변화, 게임 서비스 내 재화의 증감에 영향을 주는 비정기적인 마케팅 프로모션과 같은 게임 서비스의 마케팅 전략의 변화 또는 게임 서비스 내 유저의 플레이 패턴 변화 등이 발생한 경우, 회귀 모델을 모델링 하는데 이용되는 참조 데이터의 주기 정보, 이벤트 정보 또는 추세 정보에 변경이 생길 수 있다. 그러나, 회귀 모델을 모델링하는데 이용되는 참조 데이터에 이러한 정보가 포함되어 있지 않은 경우 프로세서는 게임 서비스 내 유저의 어뷰징이 발생하지 않았음에도 불구하고 비정상 이벤트를 오탐하는 경우가 발생할 수 있다.
따라서, 프로세서는 탐지된 비정상 이벤트의 발생 원인을 분석하고, 분석한 발생 원인이 게임 서비스에 대한 정보 변경에 의한 것인 경우, 변경된 정보에 기초하여 회귀 모델의 업데이트를 수행할 수 있다.
도 5는 일 실시예에 따른 실제 데이터와 예측 데이터 간 차이의 누적값을 이용하여 비정상 이벤트를 탐지하는 방법을 도시한 도면이다.
비정상 이벤트 탐지 장치(100)의 프로세서가 회귀 모델을 이용하여 생성한 예측 데이터의 신뢰 구간을 이용하여 비정상 이벤트를 탐지하는 1차 탐지의 경우, 게임 서비스 내 특정 지표에 대한 급격한 변화에 따른 비정상 이벤트의 탐지는 가능하지만, 게임 서비스 내 소수 유저에 의한 어뷰징으로 인한 게임 서비스 내 특정 지표의 점진적인 변화를 탐지에 한계가 있을 수 있다.
따라서, 프로세서는 게임 서비스 내 소수 유저의 어뷰징에 의한 게임 서비스 내 특정 지표의 점진적인 변화를 탐지하기 위해 게임 서비스 내에서 발생한 실제 데이터와 회귀 모델을 이용하여 예측한 예측 데이터 간 차이의 누적값을 이용하여 2차 탐지를 수행할 수 있다. 프로세서는 2차 탐지 결과 실제 데이터에 비정상 이벤트가 발생한 경우 사용자에게 알림을 전달할 수 있다. 프로세서는 비정상 이벤트의 발생 원인을 분석하여 회귀 모델의 업데이트 필요 여부를 판단하여, 회귀 모델의 업데이트가 필요한 경우 기존의 회귀 모델을 업데이트한 새로운 회귀 모델을 생성할 수 있다.
보다 구체적으로, 프로세서는 실제 데이터와 예측 데이터의 차이를 계산하고, 계산된 값의 절대값을 결정할 수 있다. 그리고, 프로세서는 실제 데이터와 예측 데이터 간 차이의 절대값에 대한 누적치를 모니터링 할 수 있다.
프로세서는 위에서 결정된, 실제 데이터와 예측 데이터 간 차이의 절대값에 대한 누적치를 이용하여 게임 서비스 내 비정상 이벤트의 발생 여부를 판단할 수 있다. 프로세서는 실제 데이터와 예측 데이터 간 차이의 절대값에 대한 누적치가 0을 평균으로 하는 정규 분포를 유지하는 경우 게임 서비스 내 비정상 이벤트가 발생하지 않은 것으로 판단할 수 있다. 그러나, 실제 데이터와 예측 데이터 간 차이의 절대값에 대한 누적치가 한쪽으로 쏠린 정규 분포를 이루는 경우 즉, 누적치의 평균이 0이 아니라 일정 규모 이상의 값을 가지게 되는 경우, 프로세서는 게임 서비스 내 비정상 데이터가 발생한 것으로 판단하고 사용자에게 비정상 이벤트의 발생 사실에 대한 일림을 전달할 수 있다.
프로세서는 탐지된 비정상 이벤트의 발생 원인을 분석하고, 분석한 발생 원인에 기초하여 회귀 모델을 업데이트 할 수 있다. 비정상 이벤트는 게임 서비스 내 유저의 어뷰징에 의해 발생하는 경우 이외에도 회귀 모델이 업데이트 되지 않은 경우 발생할 수 있다.
예를 들어, 매주 특정 요일에 발생하는 게임 서비스 내 핵심 컨텐츠 추가와 같은 게임 서비스 내 컨텐츠의 변화, 게임 서비스 내 재화의 증감에 영향을 주는 비정기적인 마케팅 프로모션과 같은 게임 서비스의 마케팅 전략의 변화 또는 게임 서비스 내 유저의 플레이 패턴 변화 등이 발생한 경우, 회귀 모델을 모델링 하는데 이용되는 참조 데이터의 주기 정보, 이벤트 정보 또는 추세 정보에 변경이 생길 수 있다. 그러나, 회귀 모델을 모델링하는데 이용되는 참조 데이터에 이러한 정보가 포함되어 있지 않은 경우 프로세서는 게임 서비스 내 유저의 어뷰징이 발생하지 않았음에도 불구하고 비정상 이벤트를 오탐하는 경우가 발생할 수 있다.
따라서, 프로세서는 탐지된 비정상 이벤트의 발생 원인을 분석하고, 분석한 발생 원인이 게임 서비스에 대한 정보 변경에 의한 것인 경우, 변경된 정보에 기초하여 회귀 모델의 업데이트를 수행할 수 있다.
상술한 다양한 실시예들 중 적어도 하나에 의하면, 게임 산업의 게임 창작자 등은 게임 컨텐츠의 전파를 유도 및 이루어 자신이 창작안 게임을 즐기는 인원을 늘릴 수 있으며, 게임 컨텐츠에 소셜 요소도 추가할 수 있다. 또한, 게임 플레이어는 지인과 즐거운 게임 플레이의 체험 경험을 공유하고 소재거리화 할 수 있고, 기존 게임 플레이어에게는 여력이 부족한 부분을 타인의 도움을 받을 수 있고, 신규 게임 플레이어는 풀패키지의 게임 클라이언트 소프트웨어 미설치시에도 재미있는 게임을 즐길 수 있으며, 체험앱 다운로드 받아 실행한 신규 게임 플레이어 가입자에게 연동하여 풀패키지 소프트웨어를 손쉽게 또는 간단한 버튼 등을 통해 가능하도록 할 수도 있다.
이상에서 설명된 실시예들은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치, 방법 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 비록 한정된 도면에 의해 실시예들이 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다. 그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.
100: 비정상 이벤트 탐지 장치

Claims (13)

  1. 과거에 발생한 참조 데이터를 처리하여 회귀 모델을 결정하는 동작;
    비정상 이벤트 탐지의 대상이 되는 실제 데이터 및 상기 회귀 모델로부터 예측된 예측 데이터의 신뢰 구간을 이용하여 비정상 이벤트를 탐지하는 동작; 및
    상기 실제 데이터와 상기 예측 데이터 간 차이의 누적값을 이용하여 비정상 이벤트를 탐지하는 동작;
    을 포함하는 비정상 이벤트 탐지 방법.
  2. 제1항에 있어서,
    상기 회귀 모델을 결정하는 동작은,
    상기 참조 데이터의 주기성을 나타내는 주기 정보, 상기 참조 데이터의 증감에 영향을 미치는 이벤트 정보 및 상기 참조 데이터의 추세를 나타내는 추세 정보를 추출하는 동작; 및
    상기 주기 정보, 이벤트 정보 및 추세 정보에 기초하여 상기 참조 데이터의 변동 패턴을 회귀 분석하는 동작;
    을 포함하는 비정상 이벤트 탐지 방법.
  3. 제1항에 있어서,
    상기 신뢰 구간을 이용하여 비정상 이벤트를 탐지하는 동작은,
    상기 예측 데이터의 신뢰 구간을 결정하는 동작; 및
    상기 실제 데이터가 상기 신뢰 구간을 벗어나는지 여부를 탐지하는 동작;
    을 포함하는 비정상 이벤트 탐지 방법.
  4. 제3항에 있어서,
    상기 비정상 이벤트의 발생에 대하여 미리 설정된 조건을 만족하는 경우, 사용자에게 알림을 전달하는 동작;
    을 더 포함하는 비정상 이벤트 탐지 방법.
  5. 제1항에 있어서,
    상기 누적값을 이용하여 비정상 이벤트를 탐지하는 동작은,
    상기 실제 데이터와 상기 예측 데이터 간 차이의 누적값을 결정하는 동작; 및
    상기 누적값의 평균에 대한 절대값이 미리 설정된 임계값을 초과하는 경우 사용자에게 알림을 전달하는 동작;
    을 포함하는 비정상 이벤트 탐지 방법.
  6. 제1항에 있어서
    상기 비정상 이벤트가 발생한 경우, 비정상 이벤트 발생의 원인을 분석하는 동작; 및
    상기 원인이 상기 회귀 모델의 오류에 의한 것인 경우, 상기 회귀 모델을 업데이트 하는 동작;
    을 더 포함하는 비정상 이벤트 탐지 방법.
  7. 비정상 이벤트 탐지 장치에 있어서,
    프로세서를 포함하고,
    상기 프로세서는,
    과거에 발생한 참조 데이터를 처리하여 회귀 모델을 결정하고,
    비정상 이벤트 탐지의 대상이 되는 실제 데이터 및 상기 회귀 모델로부터 예측된 예측 데이터의 신뢰 구간을 이용하여 비정상 이벤트를 탐지하고,
    상기 실제 데이터와 상기 예측 데이터 간 차이의 누적값을 이용하여 비정상 이벤트를 탐지하는,
    비정상 이벤트 탐지 장치.
  8. 제7항에 있어서,
    상기 프로세서는,
    상기 참조 데이터의 주기성을 나타내는 주기 정보, 상기 참조 데이터의 증감에 영향을 미치는 이벤트 정보 및 상기 참조 데이터의 추세를 나타내는 추세 정보를 추출하고,
    상기 주기 정보, 이벤트 정보 및 추세 정보에 기초하여 상기 참조 데이터의 변동 패턴을 회귀 분석하는,
    비정상 이벤트 탐지 장치.
  9. 제7항에 있어서,
    상기 프로세서는,
    상기 예측 데이터의 신뢰 구간을 결정하고,
    상기 실제 데이터가 상기 신뢰 구간을 벗어나는지 여부를 탐지하는,
    비정상 이벤트 탐지 장치.
  10. 제9항에 있어서,
    상기 프로세서는,
    상기 비정상 이벤트의 발생에 대하여 미리 설정된 조건을 만족하는 경우, 사용자에게 알림을 전달하는,
    비정상 이벤트 탐지 장치.
  11. 제6항에 있어서,
    상기 프로세서는,
    상기 실제 데이터와 상기 예측 데이터 간 차이의 누적값을 결정하고,
    상기 누적값의 평균에 대한 절대값이 미리 설정된 임계값을 초과하는 경우 사용자에게 알림을 전달하는,
    비정상 이벤트 탐지 장치.
  12. 제6항에 있어서,
    상기 프로세서는,
    상기 비정상 이벤트가 발생한 경우, 비정상 이벤트 발생의 원인을 분석하고,
    상기 원인이 상기 회귀 모델의 오류에 의한 것인 경우, 상기 회귀 모델을 업데이트 하는,
    비정상 이벤트 탐지 장치.
  13. 제1항 내지 제6항 중 어느 한 항의 방법을 실행하기 위한 프로그램이 기록된 컴퓨터에서 판독 가능한 기록 매체.
KR1020180046574A 2018-04-23 2018-04-23 비정상 이벤트 탐지 방법 및 장치 KR102448431B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180046574A KR102448431B1 (ko) 2018-04-23 2018-04-23 비정상 이벤트 탐지 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180046574A KR102448431B1 (ko) 2018-04-23 2018-04-23 비정상 이벤트 탐지 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20190122983A true KR20190122983A (ko) 2019-10-31
KR102448431B1 KR102448431B1 (ko) 2022-09-28

Family

ID=68420922

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180046574A KR102448431B1 (ko) 2018-04-23 2018-04-23 비정상 이벤트 탐지 방법 및 장치

Country Status (1)

Country Link
KR (1) KR102448431B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102186811B1 (ko) * 2019-12-26 2020-12-04 한국감정원 감정평가 적정성 판별 시스템 및 방법
KR20210153784A (ko) * 2020-06-10 2021-12-20 한국전자통신연구원 머신 러닝을 이용한 이상 상황 탐지 시스템의 탐지 이상 처리 방법 및 이를 위한 장치
KR102352954B1 (ko) * 2021-05-31 2022-01-19 주식회사 아미크 예측 자동 회귀 기반 실시간 기업정보시스템 사용자 이상행위 탐지 시스템 및 방법
CN117932445A (zh) * 2024-03-25 2024-04-26 西安航科创星电子科技有限公司 高稳定性的htcc氧化铝陶瓷制备参数异常识别方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170012857A (ko) * 2015-07-24 2017-02-03 (주)와플 센서 신호 검출 시스템 및 이를 구비하는 스마트 플러그
KR20170078252A (ko) * 2015-12-29 2017-07-07 삼성에스디에스 주식회사 시계열의 데이터를 모니터링 하는 방법 및 그 장치

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170012857A (ko) * 2015-07-24 2017-02-03 (주)와플 센서 신호 검출 시스템 및 이를 구비하는 스마트 플러그
KR20170078252A (ko) * 2015-12-29 2017-07-07 삼성에스디에스 주식회사 시계열의 데이터를 모니터링 하는 방법 및 그 장치

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102186811B1 (ko) * 2019-12-26 2020-12-04 한국감정원 감정평가 적정성 판별 시스템 및 방법
KR20210153784A (ko) * 2020-06-10 2021-12-20 한국전자통신연구원 머신 러닝을 이용한 이상 상황 탐지 시스템의 탐지 이상 처리 방법 및 이를 위한 장치
KR102352954B1 (ko) * 2021-05-31 2022-01-19 주식회사 아미크 예측 자동 회귀 기반 실시간 기업정보시스템 사용자 이상행위 탐지 시스템 및 방법
CN117932445A (zh) * 2024-03-25 2024-04-26 西安航科创星电子科技有限公司 高稳定性的htcc氧化铝陶瓷制备参数异常识别方法
CN117932445B (zh) * 2024-03-25 2024-05-31 西安航科创星电子科技有限公司 高稳定性的htcc氧化铝陶瓷制备参数异常识别方法

Also Published As

Publication number Publication date
KR102448431B1 (ko) 2022-09-28

Similar Documents

Publication Publication Date Title
KR20190122983A (ko) 비정상 이벤트 탐지 방법 및 장치
CN106104496B (zh) 用于任意时序的不受监督的异常检测
US8516499B2 (en) Assistance in performing action responsive to detected event
US10684911B2 (en) Compute resource monitoring system and method associated with benchmark tasks and conditions
JP2007148818A (ja) ソフトウェア動作モデル化装置、ソフトウェア動作監視装置、ソフトウェア動作モデル化方法及びソフトウェア動作監視方法
KR20150121132A (ko) 작업에 대한 남은 시간 추정
US10437695B2 (en) Fault information providing server and fault information providing method for users of in-vehicle terminals
US20200117531A1 (en) Error source module identification and remedial action
KR101915802B1 (ko) 매크로 프로그램 탐지 방법 및 장치
US10360090B2 (en) Determination method, determination apparatus, and recording medium
JPWO2013088565A1 (ja) 検知装置、検知プログラムおよび検知方法
JP6725253B2 (ja) プラント監視装置およびプログラム
JP2018160186A (ja) 監視プログラム、監視方法および監視装置
CN111538723A (zh) 监测数据处理方法、装置及电子设备
US20190129781A1 (en) Event investigation assist method and event investigation assist device
KR101619691B1 (ko) 프로그램 오류 분석 방법 및 시스템
KR101932765B1 (ko) 게임 어뷰저 검출을 위한 로그 데이터 처리 방법 및 장치
US20160117622A1 (en) Shared risk group management system, shared risk group management method, and shared risk group management program
CN108014500B (zh) 属性异常发现方法及装置
KR20190043923A (ko) 서비스 서버, 의심 유저에 의한 데이터 패킷을 모니터링하는 방법 및 그 방법을 실행시키기 위한 컴퓨터 프로그램
KR102220516B1 (ko) 매크로 프로그램 탐지 방법 및 이를 수행하는 모바일 디바이스
KR20210023924A (ko) 매크로 프로그램 탐지 방법 및 이를 수행하는 모바일 디바이스
KR101974627B1 (ko) 게임 계정 거래 탐지 장치 및 방법
KR101934381B1 (ko) 해킹툴 탐지 방법 및 이를 수행하는 사용자 단말 및 서버
KR20200016781A (ko) 게임 계정 거래 탐지 장치 및 방법

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right