KR102033163B1 - 지표 이상치 검출 방법 및 장치 - Google Patents

지표 이상치 검출 방법 및 장치 Download PDF

Info

Publication number
KR102033163B1
KR102033163B1 KR1020190010400A KR20190010400A KR102033163B1 KR 102033163 B1 KR102033163 B1 KR 102033163B1 KR 1020190010400 A KR1020190010400 A KR 1020190010400A KR 20190010400 A KR20190010400 A KR 20190010400A KR 102033163 B1 KR102033163 B1 KR 102033163B1
Authority
KR
South Korea
Prior art keywords
increase
data
decrease
indicator
processor
Prior art date
Application number
KR1020190010400A
Other languages
English (en)
Inventor
모유선
석인혜
Original Assignee
넷마블 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 넷마블 주식회사 filed Critical 넷마블 주식회사
Priority to KR1020190010400A priority Critical patent/KR102033163B1/ko
Application granted granted Critical
Publication of KR102033163B1 publication Critical patent/KR102033163B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/904—Browsing; Visualisation therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • G06Q40/12—Accounting

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • Finance (AREA)
  • General Business, Economics & Management (AREA)
  • Pure & Applied Mathematics (AREA)
  • Human Resources & Organizations (AREA)
  • Entrepreneurship & Innovation (AREA)
  • General Engineering & Computer Science (AREA)
  • Marketing (AREA)
  • Computational Mathematics (AREA)
  • Accounting & Taxation (AREA)
  • Mathematical Physics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Operations Research (AREA)
  • Technology Law (AREA)
  • Probability & Statistics with Applications (AREA)
  • Algebra (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Development Economics (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • Debugging And Monitoring (AREA)

Abstract

지표 이상치 검출 방법 및 장치가 개시된다. 지표 이상치 검출 방법은 로그 데이터에 기초하여 이전 시점 대비 증감률을 계산하는 것에 의해 제1 증감률 지표 데이터를 획득하는 단계, 상기 제1 증감률 지표 데이터에 데이터 변환을 수행하여 제2 증감률 지표 데이터를 획득하는 단계, 상기 제2 증감률 지표 데이터의 임계 구간을 결정하는 단계 및 상기 제2 증감률 지표 데이터에 상기 임계 구간을 적용하여 상기 임계 구간을 벗어나는 증감률 지표를 이상치로서 검출하는 단계를 포함한다.

Description

지표 이상치 검출 방법 및 장치{METHOD AND APPARATUS FOR DETECTING OUTLIERS}
아래 실시예들은 데이터를 분석하여 지표 이상치를 검출하는 기술에 관한 것이다.
데이터베이스에 포함된 데이터 세트는 복수의 항목들과 복수의 항목들에 대한 데이터 값을 가질 수 있다. 이러한 데이터 세트에서 이상치를 검출하는 것은 중요한 일이며, 데이터 분석에서 이상치는 중요한 의미를 가질 수 있다. 이상치 판단 기법으로서 PANDA(Pairwise Attribute Noise Detection Algorithm) 기법, AOI(Attribute Of Interest) 기법 등이 있다. PANDA 기법은 데이터베이스 내 각 인스턴스의 모든 속성들에 대한 잡음 인자의 합으로서 이상치 순위를 결정하는 기법이고, AOI 기법은 각 인스턴스에 대해 특정 속성을 포함시켰을 때와 해당 특정 속성을 제외하였을 때의 잡음 인자의 합을 산출하고, 이들의 이상치 순위의 차이를 이용하여 속성의 이상치를 판단하는 기법이다.
일 실시예에 따른 지표 이상치 검출 방법은, 로그 데이터에 기초하여 이전 시점 대비 증감률을 계산하는 것에 의해 제1 증감률 지표 데이터를 획득하는 단계; 상기 제1 증감률 지표 데이터에 데이터 변환을 수행하여 제2 증감률 지표 데이터를 획득하는 단계; 상기 제2 증감률 지표 데이터의 임계 구간을 결정하는 단계; 및 상기 제1 증감률 지표 데이터 또는 상기 제2 증감률 지표 데이터에 상기 임계 구간을 적용하여 상기 임계 구간을 벗어나는 증감률 지표를 이상치로서 검출하는 단계를 포함할 수 있다.
상기 제2 증감률 지표 데이터를 획득하는 단계는, 이전의 미리 설정된 기간 동안의 제1 증감률 지표 데이터에 상기 데이터 변환을 수행하여 상기 제2 증감률 지표 데이터를 획득하는 단계를 포함할 수 있다.
상기 제2 증감률 지표 데이터를 획득하는 단계는, 로그 함수를 이용하여 상기 제1 증감률 지표 데이터의 데이터 값을 변환하는 단계를 포함할 수 있다.
상기 제2 증감률 지표 데이터를 획득하는 단계는, 상기 로그 함수를 이용하여 0보다 작은 제1 증감률 지표 데이터의 데이터 값을 변환하는 단계를 포함할 수 있다.
상기 임계 구간을 결정하는 단계는, 이전의 미리 설정된 기간 동안의 제2 증감률 지표 데이터에 기초하여 상기 임계 구간을 결정하는 단계를 포함할 수 있다.
상기 임계 구간을 결정하는 단계는, 상기 미리 설정된 기간 동안의 제2 증감률 지표 데이터를 크기 순으로 정렬한 시퀀스에서 사분위수 상의 제1 사분위에 대응하는 제1 값과 상기 사분위수 상의 제3 사분위에 대응하는 제2 값에 기초하여 상기 임계 구간을 결정하는 단계를 포함할 수 있다.
상기 임계 구간을 결정하는 단계는, 상기 제3 사분위에 대응하는 상기 제2 값과 상기 제1 사분위에 대응하는 상기 제1 값 간의 차이에 기초하여 기준 범위를 설정하는 단계; 및 상기 기준 범위에 미리 설정된 가중치를 적용하여 확장된 기준 범위를 상기 임계 구간으로 결정하는 단계를 포함할 수 있다.
상기 로그 데이터는, 복수의 항목들 각각에 대한 일별 지표 데이터를 포함하고, 상기 임계 구간을 결정하는 단계는, 상기 복수의 항목들 각각에 대해 개별적으로 임계 구간을 결정하는 단계를 포함할 수 있다.
일 실시예에 따른 지표 이상치 검출 방법은, 상기 복수의 항목들 각각에 대한 이전 시점 대비 증감률과 상기 복수의 항목들 각각에 대해 결정된 임계 구간을 나타내는 차트 정보를 사용자에게 제공하는 단계를 더 포함할 수 있다.
일 실시예에 따른 지표 이상치 검출 방법은, 상기 복수의 항목들 각각에 대한 이전 시점 대비 증감률, 일 지표 데이터, 상기 복수의 항목들 각각에 대해 결정된 임계 구간 및 이상치 여부를 나타내는 테이블 정보를 사용자에게 제공하는 단계를 더 포함할 수 있다.
상기 제1 증감률 지표 데이터를 획득하는 단계는, 일별 지표 데이터를 포함하는 상기 로그 데이터에 기초하여 전일 대비 증감률을 계산하는 것에 의해 상기 제1 증감률 지표 데이터를 획득하는 단계를 포함할 수 있다.
다른 실시예에 따른 지표 이상치 검출 방법은, 복수의 항목들의 지표 데이터에 대해 이전 시점 대비 증감률을 계산하는 것에 의해 제1 증감률 지표 데이터를 획득하는 단계; 상기 제1 증감률 지표 데이터의 데이터 범위를 변환하여 제2 증감률 지표 데이터를 획득하는 단계; 미리 설정된 기간 동안의 상기 제2 증감률 지표 데이터에 기초하여 임계 구간을 결정하는 단계; 및 상기 제1 증감률 지표 데이터 또는 상기 제2 증감률 지표 데이터에 상기 임계 구간을 적용하여 상기 임계 구간을 벗어나는 증감률 지표를 이상치로서 검출하는 단계를 포함할 수 있다.
일 실시예에 따른 지표 이상치 검출 장치는, 메모리 및 프로세서를 포함하고, 상기 메모리는 상기 프로세서에 의해 실행 가능한 인스트럭션들을 저장하고, 상기 인스트럭션들이 상기 프로세서에 의해 실행될 때, 상기 프로세서는, 로그 데이터에 기초하여 이전 시점 대비 증감률을 계산하는 것에 의해 제1 증감률 지표 데이터를 획득하고, 상기 제1 증감률 지표 데이터에 데이터 변환을 수행하여 제2 증감률 지표 데이터를 획득하고, 상기 제2 증감률 지표 데이터의 임계 구간을 결정하고, 상기 제1 증감률 지표 데이터 또는 상기 제2 증감률 지표 데이터에 상기 임계 구간을 적용하여 상기 임계 구간을 벗어나는 증감률 지표를 이상치로서 검출할 수 있다.
상기 프로세서는, 이전의 미리 설정된 기간 동안의 제1 증감률 지표 데이터에 상기 데이터 변환을 수행하여 상기 제2 증감률 지표 데이터를 획득할 수 있다.
상기 프로세서는, 로그 함수를 이용하여 0보다 작은 제1 증감률 지표 데이터의 데이터 값을 변환하는 것에 의해 상기 제2 증감률 지표 데이터를 획득할 수 있다.
상기 프로세서는, 미리 설정된 기간 동안의 제2 증감률 지표 데이터를 크기 순으로 정렬한 시퀀스에서 사분위수 상의 제1 사분위에 대응하는 제1 값과 상기 사분위수 상의 제3 사분위에 대응하는 제2 값에 기초하여 상기 임계 구간을 결정할 수 있다.
상기 프로세서는, 상기 제3 사분위에 대응하는 상기 제2 값과 상기 제1 사분위에 대응하는 상기 제1 값 간의 차이에 기초하여 기준 범위를 설정하고, 상기 기준 범위에 미리 설정된 가중치를 적용하여 확장된 기준 범위를 상기 임계 구간으로 결정할 수 있다.
상기 프로세서는, 상기 복수의 항목들 각각에 대한 이전 시점 대비 증감률과 상기 복수의 항목들 각각에 대해 결정된 임계 구간을 나타내는 차트 정보를 사용자에게 제공할 수 있다.
상기 프로세서는, 상기 복수의 항목들 각각에 대한 이전 시점 대비 증감률, 일 지표 데이터, 상기 복수의 항목들 각각에 대해 결정된 임계 구간 및 이상치 여부를 나타내는 테이블 정보를 사용자에게 제공할 수 있다.
상기 프로세서는, 일별 지표 데이터를 포함하는 상기 로그 데이터에 기초하여 전일 대비 증감률을 계산하는 것에 의해 상기 제1 증감률 지표 데이터를 획득할 수 있다.
다른 실시예에 따른 지표 이상치 검출 장치는, 메모리 및 프로세서를 포함하고, 상기 메모리는 상기 프로세서에 의해 실행 가능한 인스트럭션들을 저장하고, 상기 인스트럭션들이 상기 프로세서에 의해 실행될 때, 상기 프로세서는, 복수의 항목들의 지표 데이터에 대해 이전 시점 대비 증감률을 계산하는 것에 의해 제1 증감률 지표 데이터를 획득하고, 상기 제1 증감률 지표 데이터의 데이터 범위를 변환하여 제2 증감률 지표 데이터를 획득하고, 미리 설정된 기간 동안의 상기 제2 증감률 지표 데이터에 기초하여 임계 구간을 결정하고, 상기 제1 증감률 지표 데이터 또는 상기 제2 증감률 지표 데이터에 상기 임계 구간을 적용하여 상기 임계 구간을 벗어나는 증감률 지표를 이상치로서 검출할 수 있다.
일 실시예에 따르면, 다양한 항목들의 지표 데이터에서 이상치를 자동으로 효과적으로 검출하고, 각각의 다양한 지표 데이터에서 유효하게 증감한 지표들을 요약하여 사용자에게 제공할 수 있다
일 실시예에 따르면, 사용자는 지표 데이터의 정확한 분석 결과를 효과적으로 제공받을 수 있으며, 지표 증감에 대한 신뢰성 있는 알림 서비스를 제공받을 수 있다.
일 실시예에 따르면, 단위가 서로 다른 지표 항목들의 증감 추이를 용이하고 효과적으로 비교하는 것이 가능해 진다.
일 실시예에 따르면, 지표 데이터가 급격하게 변하더라도 이상치를 탐지하기 위한 임계 구간을 안정적으로 설정할 수 있다.
도 1은 일 실시예에 따른 지표 이상치 검출 장치의 구성을 도시한 도면이다.
도 2는 일 실시예에 따른 지표 이상치 검출 방법의 동작을 설명하기 위한 흐름도이다.
도 3은 일 실시예에 따른 복수의 항목들에 대한 제1 증감률 지표 데이터의 일례를 도시하는 도면이다.
도 4는 일 실시예에 따른 제2 증감률 지표 데이터와 임계 구간의 시간에 따른 변화를 나타내는 도면이다.
도 5는 일 실시예에 따른 지표 이상치 검출 결과를 제공하는 일례를 도시하는 도면이다.
도 6 및 도 7은 일 실시예에 따른 지표 이상치 검출 결과 제공 화면에 나타난 이상치 검출 결과를 설명하기 위한 도면들이다.
도 8은 일 실시예에 따른 지표 이상치 검출 결과를 제공하는 다른 예를 도시하는 도면이다.
도 9는 다른 실시예에 따른 지표 이상치 검출 장치의 구성을 도시한 도면이다.
이하에서, 첨부된 도면을 참조하여 실시예들을 상세하게 설명한다. 그러나, 실시예들에는 다양한 변경이 가해질 수 있어서 특허출원의 권리 범위가 이러한 실시예들에 의해 제한되거나 한정되는 것은 아니다. 실시예들에 대한 모든 변경, 균등물 내지 대체물이 권리 범위에 포함되는 것으로 이해되어야 한다.
실시예에서 사용한 용어는 단지 설명을 목적으로 사용된 것으로, 한정하려는 의도로 해석되어서는 안된다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 실시예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 실시예의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
도 1은 일 실시예에 따른 지표 이상치 검출 장치의 구성을 도시한 도면이다.
지표 이상치 검출 장치(100)는 지표 데이터에서 이상치를 검출하는 장치이다. 여기서, '이상치(outlier)'란 정상 범위에 포함되지 않는 비정상적인 값을 나타내는 지표 값이나 특이치를 나타낸다. 일 실시예에서, 지표 이상치 검출 장치(100)는 지표 데이터의 데이터세트에서 지표의 유효 증가 또는 유효 감소와 같은 지표 유효 변화를 자동으로 탐지하고, 이상치가 발생한 경우 이를 알릴 수 있다. 예를 들어, 지표 이상치 검출 장치(100)는 오늘 기록된 지표 데이터가 어제 기록된 지표 데이터에 비해 유효하게 증감하였는지 여부를 판단할 수 있다. 실시예에 따라, 지표 이상치 검출 장치(100)는 연도별 지표 데이터, 월별 지표 데이터, 주(week)별 지표 데이터, 일(day)별 지표 데이터 또는 시간(hour)별 지표 데이터에 대해 지표의 유효 변화를 자동으로 탐지할 수 있으며, 이러한 시간별 지표 데이터에 의해 실시예의 범위가 한정되는 것은 아니다.
도 1을 참조하면, 지표 이상치 검출 장치(100)는 저장부(110), 분석부(120), 제공부(130) 및 통신부(140)를 포함한다.
저장부(110)는 지표 이상치 검출 장치(100)의 검출 대상이 되는 지표 데이터를 저장할 수 있다. 지표 데이터는 로그 데이터의 형태로 수집될 수 있다. 로그 데이터는, 예를 들어 ARPDAU(Average Revenue Per Daily Active User), ARPPU(Average Revenue Per Paid User), 매출액, DAU(Daily Active Users), 신규/복귀/이탈 게임 유저수, 잔존율 등과 같은 복수의 항목들 각각에 대한 지표 데이터(예, 일별 지표 데이터)를 포함할 수 있다. 저장부(110)는 이러한 복수의 항목들 각각에 대한 지표 데이터를 수치화하고, 경우에 따라 수치화된 지표 데이터에 정규화(normalization) 처리나 표준화(standardization) 처리를 수행한 후 저장할 수 있다.
분석부(120)는 저장부(110)에 의해 저장된 지표 데이터를 분석하여 지표 데이터의 유효 증감을 검출하고, 지표 데이터의 이상치를 검출할 수 있다. 분석부(120)는 로그 데이터에 기초하여 이전 시점 대비 증감률을 계산하는 것에 의해 제1 증감률 지표 데이터를 생성하고, 생성된 제1 증감률 지표 데이터에 데이터 변환을 수행하여 제2 증감률 지표 데이터를 획득할 수 있다. 예를 들어, 분석부(120)는 일별 지표 데이터를 포함하는 로그 데이터에 기초하여 전일 대비 증감률을 계산하는 것에 의해 제1 증감률 지표 데이터를 생성할 수 있다. 분석부(120)는 이렇게 생성된 제1 증감률 지표 데이터의 데이터 범위를 음의 무한대부터 양의 무한대의 범위로 변화시키기 위해, 로그 함수를 이용하여 제1 증감률 지표 데이터의 음의 값을 변화시킬 수 있고 이를 통해 제2 증감률 지표 데이터가 획득될 수 있다.
분석부(120)는 이전의 미리 설정된 기간 동안의 제2 증감률 지표 데이터에 기초하여 이상치 검출을 위한 임계 구간을 결정하고, 결정된 임계 구간에 기초하여 제1 증감률 지표 데이터 또는 제2 증감률 지표 데이터에서 이상치를 검출할 수 있다. 예를 들어, 분석부(120)는 제2 증감률 지표 데이터의 임계 구간을 데이터 변환 전의 제1 증감률 지표 데이터에 대응하는 임계 구간으로 변환하는 것에 의해 제1 증감률 지표 데이터 기준의 임계 구간을 구할 수 있다. 분석부(120)는 제1 증감률 지표 데이터 기준의 임계 구간에 기초하여 지표 데이터의 이상치 검출 결과를 생성할 수도 있다.
제공부(130)는 분석부(120)에 의해 분석된 이상치 검출 결과를 사용자에게 제공할 수 있다. 예를 들어, 제공부(130)는 이상치 검출 결과를 포함하는 제1 증감률 지표 데이터의 정보를 차트나 테이블로 구성하여 사용자에게 제공할 수 있다. 제공부(130)는 이상치 검출 결과 뿐만 아니라 각각의 다양한 지표 데이터에서 유효하게 증감한 지표들을 요약하여 사용자에게 제공할 수 있다. 제공부(130)는 이상치 검출 결과 제공 시 복수의 항목들 각각에 대한 임계 구간을 제공함으로써 이상치가 얼마나 임계 구간(정상 범위에 대응)으로부터 벗어났는지, 이전 시점 대비하여 유효하게 증가하거나 감소한 지표 데이터 항목이 무엇인지에 대한 정보를 사용자에게 효과적으로 알릴 수 있다.
통신부(140)는 지표 이상치 검출 장치(100)의 통신 기능을 수행한다. 예를 들어, 통신부(140)는 지표 데이터를 포함하는 로그 데이터를 수신하거나 이상치 검출 결과를 다른 단말로 전송하는 기능을 수행할 수 있다. 예를 들어, 통신부(140)는 게임 서버와 연동하여 게임 서버로부터 로그 데이터를 수신하고, 로그 데이터를 분석하여 획득된 지표 데이터 분석 정보를 다른 단말로 전송할 수 있다. 일 실시예서, 지표 이상치 검출 장치(100)는 이상치 검출 시 이를 경고하기 위해 알람 기능을 수행할 수 있는데, 이 경우 통신부(140)는 이상치 검출을 알리기 위한 알람 메시지를 게임 서버나 사용자의 장치(예, 단말)로 전송할 수 있다.
지표 데이터를 이용하는 사용자가 직접 복수 항목의 지표 데이터를 체크하고 분석하는 경우, 시간이 오래 걸리고 많은 수고가 필요하다. 하지만, 위와 같은 지표 이상치 검출 장치(100)를 통해, 사용자는 지표 데이터의 정확한 분석 결과를 효과적으로 제공받을 수 있으며, 지표 증감에 대한 신뢰성 있는 알림 서비스를 제공받을 수 있다.
이하에서는, 지표 이상치 검출 장치(100)에 의해 수행되는 지표 이상치 검출 방법에 대해 보다 자세히 설명한다.
도 2는 일 실시예에 따른 지표 이상치 검출 방법의 동작을 설명하기 위한 흐름도이다. 지표 이상치 검출 방법은 본 명세서에서 설명하는 지표 이상치 검출 장치에 의해 수행될 수 있다.
도 2를 참조하면, 단계(210)에서 지표 이상치 검출 장치는 로그 데이터에 기초하여 이전 시점 대비 증감률을 계산하는 것에 의해 제1 증감률 지표 데이터를 획득한다. 지표 이상치 검출 장치는 지표 데이터별 비교를 위한 표준화 과정으로서 이전 시점 대비 증감률을 계산할 수 있다. 예를 들어, 로그 데이터는 지표 데이터와 관련된 복수의 항목들 각각에 대한 일별 지표 데이터를 포함할 수 있고, 지표 이상치 검출 장치는 로그 데이터에 기초하여 전일 대비 증감률을 계산하는 것에 의해 제1 증감률 지표 데이터를 획득할 수 있다.
일 실시예에 따르면, 지표 이상치 검출 장치는 다음의 수학식 1을 이용하여 전일 대비 증감률을 계산하여 제1 증감률 지표 데이터를 획득할 수 있다.
Figure 112019009676721-pat00001
여기서,
Figure 112019009676721-pat00002
는 기준이 되는 현재 시점(예, 오늘)의 지표 데이터 값을 나타내고,
Figure 112019009676721-pat00003
는 비교가 되는 이전 시점(예, 어제)의 지표 데이터 값을 나타낸다. IndexRate(x)는 이전 시점 대비 증감률(예, 전일 대비 증감률)을 나타내고, -1 이상의 값을 갖는다. 지표 이상치 검출 장치는 복수의 항목들 각각의 지표 데이터에 대해 위와 같은 수학식 1을 이용하여 이전 시점 대비 증감률을 계산할 수 있다.
위와 같은 과정을 통해 비율 단위로 지표 데이터의 단위가 통일되고 서로 다른 항목들의 단위 영향이 제거되어, 다양한 항목들의 지표 데이터에 대한 분포 및 증감폭 비교가 용이해 진다. 예를 들어, DAU, 매출액, 잔존율 등 단위가 서로 다른 지표 항목들의 증감 추이를 용이하고 효과적으로 비교하는 것이 가능해 진다.
단계(220)에서, 지표 이상치 검출 장치는 제1 증감률 지표 데이터에 데이터 변환을 수행하여 제2 증감률 지표 데이터를 획득할 수 있다. 예를 들어, 지표 이상치 검출 장치는 이전의 미리 설정된 기간 동안의 제1 증감률 지표 데이터에 로그 함수를 이용한 데이터 변환을 수행하여 제2 증감률 지표 데이터를 획득할 수 있다. 제1 증감률 지표 데이터는 (-1, 양의 무한대)의 데이터 범위를 가진다. 지표 이상치 검출 장치는 범위 가정이 위반되는 것을 방지하기 위해 제1 증감률 지표 데이터의 데이터 범위를 (음의 무한대, 양의 무한대)의 데이터 범위로 변환할 수 있다.
일 실시예에서, 지표 이상치 검출 장치는 로그 함수를 이용하여 제1 증감률 지표 데이터의 데이터 값을 변환할 수 있다. 예를 들어, 지표 이상치 검출 장치는 다음의 수학식 2와 같은 로그 함수를 이용하여 0보다 작은 제1 증감률 지표 데이터의 데이터 값을 변환할 수 있다. 이 때, 지표 이상치 검출 장치는 이전의 미리 설정된 기간(예, 이전 14일) 동안의 제1 증감률 지표 데이터의 데이터 값에 아래 수학식 2를 적용하여 데이터 범위를 변환할 수 있다.
Figure 112019009676721-pat00004
여기서, y는 제2 증감률 지표 데이터 값이고, x는 제1 증감률 지표 데이터를 나타낸다. 수학식 2를 통해, 제1 증감률 지표 데이터의 음수 구간은 로그 변환을 통해 데이터 범위가 확장된다. 즉, 제1 증감률 지표 데이터는 -1 이상이라는 데이터 범위가 존재하는데, 수학식 2를 통해 제2 증감률 지표 데이터의 데이터 범위는 음의 무한대로 데이터 범위가 확장된다. 제1 증감률 지표 데이터의 양수 구간은 변환되지 않는다. 이러한 데이터 변환을 통해 임계 구간의 범위 가정 위반이 발생하는 것이 방지될 수 있다.
단계(230)에서, 지표 이상치 검출 장치는 제2 증감률 지표 데이터의 임계 구간을 결정한다. 임계 구간은 지표의 정상 구간에 대응한다.
일 실시예에서, 지표 이상치 검출 장치는 비모수 방법인 박스플롯 이상치 검출 규칙(boxplot outlier detection rule)을 이용하여 안정적인 임계 구간을 획득할 수 있다. 게임 관련 지표 데이터의 특성상 극단 값이 다수 존재할 수 있어 비모수 방법으로 임계 구간을 결정하는 것이 적합하다.
지표 이상치 검출 장치는 이전의 미리 설정된 기간(예, 이전 14일) 동안의 제2 증감률 지표 데이터에 기초하여 임계 구간을 결정할 수 있다. 예를 들어, 지표 이상치 검출 장치는 해당 미리 설정된 기간 동안의 제2 증감률 지표 데이터를 크기 순으로 정렬한 시퀀스에서 사분위수(quartile) 상의 제1 사분위에 대응하는 제1 값과 해당 사분위수 상의 제3 사분위에 대응하는 제2 값에 기초하여 임계 구간을 결정할 수 있다. 여기서, 사분위수는 이전의 미리 설정된 기간 동안의 제2 증감률 지표 데이터를 크기(지표 데이터 값의 크기) 순서에 따라 늘어 놓은 시퀀스를 4등분하였을 때, 4등분한 위치에 위치하는 지표 데이터 값이다. 제1 사분위에 대응하는 제1 값은, 크기가 작은 순서대로 제2 증감률 지표 데이터를 정렬하였을 때 25% 백분위점에 위치하는 지표 데이터 값이고, 제3 사분위에 대응하는 제2 값은, 크기가 작은 순서대로 제2 증감률 지표 데이터를 정렬하였을 때 75% 백분위점에 위치하는 지표 데이터 값이다.
실시예에 따라, 지표 이상치 검출 장치는 사분위수 범위(interquartile range; IQR)의 분산이 안정화되는 기간을 학습하여 유동적인 임계 구간을 제공할 수 있다. 예를 들어, 지표 이상치 검출 장치는 5일에서 30일 사이의 기간 중 다양한 항목들의 지표 데이터의 IQR 분산 기울기를 계산하고, 계산된 IQR 분산 기울기를 비교하여 IQR 분산이 안정화된 값을 가지는 기간을 결정할 수 있다. 지표 이상치 검출 장치는 다양한 항목들의 지표 데이터에서 IQR 분산의 감소 변곡점이 나타나는 지점을 기준으로 임계 구간을 결정할 시간 구간을 결정할 수 있다. 예를 들어, 14일을 기준으로 대부분의 항목들의 지표 데이터에서 IQR 분산의 감소 변곡점이 나타났다고 가정하면, 지표 이상치 검출 장치는 14일의 기간 동안의 제2 증감률 지표 데이터에 기초하여 임계 구간을 결정할 수 있다. 이와 같이, 지표 이상치 검출 장치는 지표 데이터의 추세 변화를 자동으로 학습하여 유동적인 임계 구간을 제공할 수 있다.
일 실시예에서, 지표 이상치 검출 장치는 미리 설정된 기간 동안의 제2 증감률 지표 데이터를 크기 순으로 정렬한 시퀀스에서 제3 사분위에 대응하는 제2 값과 제1 사분위에 대응하는 제1 값 간의 차이에 기초하여 기준 범위를 설정할 수 있다. 여기서, 기준 범위는 사분위수 범위에 대응할 수 있다. 지표 이상치 검출 장치는 해당 기준 범위에 미리 설정된 가중치를 적용하여 확장된 기준 범위를 임계 구간으로 결정할 수 있다. 예를 들어, 지표 이상치 검출 장치는 기준 범위를 음과 양의 방향으로 1.5배로 확장한 구간을 임계 구간으로 결정할 수 있다.
로그 데이터가 복수의 항목들에 대한 지표 데이터를 포함하는 경우, 지표 이상치 검출 장치는 해당 복수의 항목들 각각에 대해 개별적으로 임계 구간을 결정할 수 있다. 실시예에 따라, 지표 이상치 검출 장치는 제2 증감률 지표 데이터의 임계 구간을 데이터 변환 전의 제1 증감률 지표 데이터에 대응하는 임계 구간으로 변환하는 것에 의해 제1 증감률 지표 데이터 기준의 임계 구간을 구할 수 있다.
위와 같은 과정을 통해, 지표 이상치 검출 장치는 예를 들어 이벤트, 게임 업데이트 등의 이유로 인하여 지표 데이터가 급격하게 변하더라도 이상치를 탐지하기 위한 임계 구간을 안정적으로 설정할 수 있다.
단계(240)에서, 지표 이상치 검출 장치는 제1 증감률 지표 데이터 또는 제2 증감률 지표 데이터에 임계 구간을 적용하여 임계 구간을 벗어나는 증감률 지표를 이상치로서 검출할 수 있다. 지표 이상치 검출 장치는 단계(230)에서 결정된 임계 구간에 기초하여 제2 증감률 지표 데이터에서 이상치를 검출하거나 또는 제1 증감률 지표 데이터에 대응하는 임계 구간으로 변환된 임계 구간에 기초하여 제1 증감률 지표 데이터에서 이상치를 검출할 수 있다. 일 실시예에서, 지표 이상치 검출 장치는 이상치 검출 결과에서 증감률 지표가 정상 범위, 유효 증가 범위, 유효 감소 범위, 유효 증가 경고 범위 및 유효 감소 경고 범위 중 어디에 해당하는지를 결정할 수 있다. 여기서, 증감률 지표가 유효 증가 범위, 유효 감소 범위, 유효 증가 경고 범위 또는 유효 감소 경고 범위에 해당하는 경우, 해당 증감률 지표는 이상치에 해당한다.
단계(250)에서, 지표 이상치 검출 장치는 이상치 검출 결과 정보를 사용자에게 제공한다. 지표 이상치 검출 장치는 이상치 검출 결과 정보를 시각화하여 사용자에게 제공할 수 있다. 지표 이상치 검출 장치는 각 항목들의 지표 데이터에 대해 예측된 정상 범위 및 지표 데이터의 이상 판별 결과를 차트와 테이블로 제공할 수 있다. 예를 들어, 지표 이상치 검출 장치는 복수의 항목들 각각에 대한 이전 시점 대비 증감률과 복수의 항목들 각각에 대해 결정된 임계 구간을 나타내는 차트 정보를 사용자에게 제공할 수 있다. 또한, 지표 이상치 검출 장치는 복수의 항목들 각각에 대한 이전 시점 대비 증감률, 일 지표 데이터, 복수의 항목들 각각에 대해 결정된 임계 구간 및 이상치 여부를 나타내는 테이블 정보를 사용자에게 제공할 수도 있다.
도 3은 일 실시예에 따른 복수의 항목들에 대한 제1 증감률 지표 데이터의 일례를 도시하는 도면이다.
도 3을 참조하면, 각각의 항목들(A부터 L까지)에 대한 제1 증감률 지표 데이터의 일례로서 전일 대비 증감률에 대한 지표 데이터가 도시되어 있다. 지표 이상치 검출 장치는 각각의 항목들에 대해 기준 시점을 기준으로 이전 시점의 지표 데이터에 대비한 증감률을 계산하여 제1 증감률 지표 데이터를 주기적으로 생성하고, 생성된 제1 증감률 지표 데이터를 저장할 수 있다.
도 4는 일 실시예에 따른 제2 증감률 지표 데이터와 임계 구간의 시간에 따른 변화를 나타내는 도면이다.
도 4를 참조하면, 시간의 흐름에 따른 지표 데이터에서 지표 이상치 검출 장치에 의해 이상치가 검출된 결과 그래프가 도시되어 있다. 결과 그래프에서 점선으로 표시된 참조번호(420)는 임계 구간을 나타내고, 실선(410)은 제2 증감률 지표 데이터의 데이터 값들을 연결한 것이다. 포인트(430)들은 임계 구간을 벗어나 이상치로서 검출된 제2 증감률 지표 데이터의 데이터 값들을 나타낸다. 본 명세서에서 설명한 지표 이상치 검출 방법을 통해 범위 가정에 위반하지 않으면서 비모수 방법으로 임계 구간이 설정되어 지표 데이터에서 이상치가 효과적으로 검출될 수 있다.
도 5는 일 실시예에 따른 지표 이상치 검출 결과를 제공하는 일례를 도시하는 도면이다.
도 5를 참조하면, 이상치 검출 결과를 나타내는 검출 결과 제공 화면이 도시되어 있다. 지표 이상치 검출 장치는 사용자가 지표 데이터의 분석 결과를 한눈에 파악하기 쉽도록 지표 이상치 검출 결과를 시각화하여 사용자에게 제공할 수 있다. 예를 들어, 지표 이상치 검출 장치는 복수의 항목들 각각에 대한 이전 시점 대비 증감률과 복수의 항목들 각각에 대해 결정된 임계 구간을 나타내는 차트 정보를 사용자에게 제공할 수 있다. 지표 이상치 검출 장치는 도시된 것과 같이 복수의 항목들에 대해 비교하여 이상치 검출 차트를 작성하여 사용자에게 제공할 수 있다. 이러한 이상치 검출 차트는 주요 지표별 비교 정보와 일별 지표 데이터의 요약 정보를 포함할 수 있다.
일 실시예에서, 사용자는 이상치 검출 차트를 통해 오늘 각 항목들의 지표가 얼마나 변화하였는지를 용이하게 파악할 수 있다. 지표 이상치 검출 장치는 지표 이상치 검출 결과를 필요로 하는 사용자에게 주요 지표의 증감과 관련된 정보를 빠르고 효과적으로 전달할 수 있다.
지표 이상치 검출 장치는 복수의 항목들 각각에 대한 이전 시점 대비 증감률, 일 지표 데이터, 상기 복수의 항목들 각각에 대해 결정된 임계 구간 및 이상치 여부를 나타내는 테이블 정보를 사용자에게 제공할 수도 있다. 이러한 테이블 정보에서 이상치에 해당하는 지표 데이터는 자동으로 표시될 수 있다. 각각의 항목에 대응하는 지표 데이터의 검출 결과는 "이상 판별" 항목에서 증감률 지표가 정상 범위, 유효 증가 범위, 유효 감소 범위, 유효 증가 경고 범위 및 유효 감소 경고 범위 중 어느 하나로서 표시될 수 있다.
도시된 이상치 검출 결과를 살펴보면, 매출 관련 지표 데이터가 가장 변화가 크다는 것을 알 수 있다. ARPDAU는 크게 증가하였으나, ARPPU는 오히려 감소하였으며, 이러한 결과는 구매 유저 비율 증진을 통한 매출 상승이 효과적이었던 것으로 이해될 수 있다. 또한, 기존 게임 유저의 잔존율 수치와 신규 게임 유저의 잔존율 수치가 유효하게 증가한 것을 알 수 있다.
도 6 및 도 7은 일 실시예에 따른 검출 결과 제공 화면에 나타난 이상치 검출 결과를 설명하기 위한 도면들이다.
도 6을 참조하면, 도 5에서 예로 들어 설명한 검출 결과 제공 화면의 일 부분이 도시되어 있다. 검출 결과 제공 화면은 각각의 항목의 지표 데이터에 대한 임계 구간(610)과 각 항목의 지표 증감률 값(620)을 제공할 수 있다. 검출 결과 제공 화면에서 가로 축은 지표 증감 비율을 나타낸다. 임계 구간(610)의 막대의 형태로 표시될 수 있고, 지표 증감률 값이 해당 임계 구간(610)에 포함되면 정상 범위에 속한 것으로 판단된다.
지표 증감률 값의 경우, 그 이상치 검출 결과에 따라 지표 증감률 값의 컬러가 결정될 수 있다. 예를 들어, 지표 증감률 값이 임계 구간에 포함되는 경우, 지표 증감률 값이 유효하게 증감하지 않은 정상 범위에 속한 것으로 해석되고 검은 색으로 표시될 수 있다. 만약, 지표 증감률 값이 임계 구간의 최대 값을 벗어나서 더 큰 값을 나타내게 되면 유효 증가에 해당하는 것으로 해석되고, 지표 증감률 값은 파란색으로 표시될 수 있다. 지표 증감률 값이 임계 구간의 최저 값을 벗어나서 더 작은 값을 나타내게 되면 유효 감소에 해당하는 것으로 해석되고, 지표 증감률 값은 빨간색으로 표시될 수 있다.
위와 같은 시각화 방법을 통해 사용자는 다양한 항목들에 대한 지표 데이터의 이상치 검출 결과를 효과적이고 빠르게 이해할 수 있다.
도 7을 참조하면, 임계 구간(710)과 지표 증감률 값(720)이 도시되어 있다. 임계 구간(710)은 막대 형태로 시각화될 수 있고, 예를 들어 그라데이션(gradation) 분포로 시각화될 수 있다.
일 실시예에서, 임계 구간(710)에서 범위(712)는 미리 설정된 기간 동안의 제2 증감률 지표 데이터를 크기 순으로 정렬한 시퀀스에서 제3 사분위에 대응하는 제2 값(Q3)과 제1 사분위에 대응하는 제1 값(Q1) 간의 차이에 기초하여 설정된 기준 범위에 대응할 수 있다. 예를 들어, 기준 범위는 제2 값(Q3)과 제1 값(Q1) 간의 차이에 해당하는 IQR 범위일 수 있다. 임계 구간(710)의 전체 범위(714)는 범위(712)에 가중치를 적용하여 확장된 범위일 수 있다. 예를 들어, 전체 범위(714)는 기준 범위에 해당하는 범위(712)를 좌우로 1.5배하여 확장한 범위일 수 있다. 즉, 임계 구간(710)의 전체 범위(714)는 (Q1-1.5ＸIQR, Q3+1.5ＸIQR)의 범위를 가질 수 있다. 지표 증감률 값이 이러한 전체 범위(714)를 벗어나는 경우, 해당 지표 증감률 값은 이상치로서 검출될 수 있다. 지표 증감률 값이 전체 범위(714)에 포함되는 경우, 해당 지표 증감률 값은 정상 범위에 속하는 것으로 결정된다.
일 실시예에서, 지표 증감률 값이 전체 범위(714)를 미리 설정된 기준보다 더 많이 벗어나는 경우, 예를 들어 지표 증감률 값이 (Q1-3ＸIQR, Q3+3ＸIQR)의 범위를 벗어나는 경우 지표 증감률 값은 유효 증가 경고 범위 또는 유효 감소 경고 범위에 속하는 것으로 결정될 수 있다. 지표 증감률 값이 'Q1-3ＸIQR'보다 작으면 유효 감소 경고 범위에 속하고, 지표 증감률 값이 'Q3+3ＸIQR'보다 크면 유효 증가 경고 범위에 속하는 것으로 결정될 수 있다. 만약, 지표 증감률 값이 'Q1-3ＸIQR' 이상이나 'Q1-1.5ＸIQR'보다 작은 경우에는 유효 감소 범위에 속하고, 지표 증감률 값이 'Q3+3ＸIQR'이하이나 'Q3+1.5ＸIQR'보다 큰 경우에는 유효 증가 범위에 속하는 것으로 결정될 수 있다.
도 8은 일 실시예에 따른 지표 이상치 검출 결과를 제공하는 다른 예를 도시하는 도면이다.
도 8을 참조하면 일 실시예에 따른 지표 이상치 검출 결과를 나타내는 검출 결과 제공 화면이 도시되어 있다. 도 8에 도시된 검출 결과 제공 화면은, 도 5에 도시된 검출 결과 제공 화면에 대한 다른 실시예에 해당한다.
도 8을 참조하면, 사용자는 조작을 통해 이상치 검출 결과를 분석하기 위한 다양한 정보를 제공받을 수 있다. 예를 들어, 지표 이상치 검출 장치는 특정한 항목의 지표 데이터 및/또는 지표 데이터의 증감률에 대한 시간에 따른 변화에 대한 정보를 사용자에게 제공할 수 있다. 도면에는 매출의 지표 데이터에 대한 정보에 대한 분석 결과가 일례로서 도시되어 있다. 사용자는 지표 이상치 검출 장치가 제공하는 검출 결과를 통해 매출의 지표 데이터에 대하여 어느 날짜에 이상치가 발생하였는지, 매출 및 매출 증감률이 시간에 따라 어떻게 변화하였는지를 용이하게 파악할 수 있다.
도 9는 다른 실시예에 따른 지표 이상치 검출 장치의 구성을 도시한 도면이다.
도 9를 참조하면, 지표 이상치 검출 장치(900)는 프로세서(910), 메모리(920) 및 데이터베이스(930)를 포함한다. 실시예에 따라, 지표 이상치 검출 장치(900)는 사용자 입력 인터페이스(940), 디스플레이(950) 및 통신 인터페이스(960)를 더 포함할 수 있다. 지표 이상치 검출 장치(900)는 본 명세서에서 설명된 지표 이상치 검출 장치에 대응한다.
메모리(920)는 프로세서(910)에 연결되고, 프로세서(910)에 의해 실행가능한 인스트럭션들, 프로세서(910)가 연산할 데이터 또는 프로세서(910)에 의해 처리된 데이터를 저장할 수 있다. 메모리(920)는 비일시적인 컴퓨터 판독가능 매체, 예컨대 고속 랜덤 액세스 메모리 및/또는 비휘발성 컴퓨터 판독가능 저장 매체(예컨대, 하나 이상의 디스크 저장 장치, 플래쉬 메모리 장치, 또는 기타 비휘발성 솔리드 스테이트 메모리 장치)를 포함할 수 있다.
데이터베이스(930)는 지표 이상치 검출 장치(900)가 동작하는데 필요한 정보 및 데이터를 저장할 수 있다. 데이터베이스(930)는 지표 데이터에 관한 로그 데이터를 저장할 수 있다. 예를 들어, 데이터베이스(930)는 ARPDAU, ARPPU, 매출액, DAU, 신규/복귀/이탈 게임 유저수, 잔존율 등과 같은 복수의 항목들 각각에 대한 지표 데이터를 저장할 수 있다.
통신 인터페이스(960)는 외부 장치(예를 들어, 게임 서버 또는 단말)와 통신하기 위한 인터페이스를 제공한다. 통신 인터페이스(960)는 유선 또는 무선 네트워크를 통해 외부 장치와 통신할 수 있다. 예를 들어, 통신 인터페이스(960)는 지표 데이터를 포함하는 로그 데이터를 수신하거나 이상치 검출 결과를 다른 장치로 전송할 수 있다. 또는, 통신 인터페이스(960)는 이상치 검출을 알리기 위한 알람 메시지를 외부로 전송할 수도 있다.
사용자 입력 인터페이스(940)는 사용자에 의해 입력되는 사용자 입력을 수신한다. 일 실시예에서, 사용자 입력 인터페이스(940)는 지표 이상치 검출 요청에 관한 사용자 입력을 수신할 수 있다.
프로세서(910)는 지표 이상치 검출 장치(900) 내에서 실행하기 위한 기능 및 인스트럭션들을 실행하고, 지표 이상치 검출 장치(900)의 전체적인 동작을 제어한다. 예를 들어, 프로세서(910)는 다양한 항목의 지표 데이터를 포함하는 로그 데이터를 분석하고, 로그 데이터에 기초하여 지표 데이터의 이상치를 검출할 수 있다. 또한, 프로세서(910)는 이상치 검출 결과를 사용자에게 제공하도록 지표 이상치 검출 장치(900)를 제어할 수 있다.
일 실시예에서, 프로세서(910)는 일별 지표 데이터를 포함하는 로그 데이터에 기초하여 이전 시점 대비 증감률을 계산하는 것에 의해 제1 증감률 지표 데이터를 획득하고, 제1 증감률 지표 데이터에 데이터 변환을 수행하여 제2 증감률 지표 데이터를 획득할 수 있다. 프로세서(910)는 이전의 미리 설정된 기간 동안의 제1 증감률 지표 데이터에 데이터 범위를 변경하는 데이터 변환을 수행하여 제2 증감률 지표 데이터를 획득할 수 있다. 예를 들어, 프로세서(910)는 로그 함수를 이용하여 0보다 작은 제1 증감률 지표 데이터의 데이터 값을 변환하는 것에 상기 제2 증감률 지표 데이터를 획득할 수 있다.
이후에, 프로세서(910)는 이상치 검출에 이용될 임계 구간을 결정할 수 있다. 예를 들어, 프로세서(910)는 미리 설정된 기간 동안의 제2 증감률 지표 데이터를 크기 순으로 정렬한 시퀀스에서 사분위수 상의 제1 사분위에 대응하는 제1 값과 사분위수 상의 제3 사분위에 대응하는 제2 값에 기초하여 임계 구간을 결정할 수 있다. 프로세서(910)는 제3 사분위에 대응하는 제2 값과 제1 사분위에 대응하는 제1 값 간의 차이에 기초하여 기준 범위를 설정하고, 기준 범위에 미리 설정된 가중치를 적용하여 확장된 기준 범위를 임계 구간으로 결정할 수 있다. 일 실시예에서, 로그 데이터가 복수의 항목들 각각에 대한 일별 지표 데이터를 포함하는 경우, 프로세서(910)는 복수의 항목들 각각에 대해 개별적으로 임계 구간을 결정할 수 있다. 실시예에 따라, 프로세서(910)는 제2 증감률 지표 데이터의 임계 구간을 데이터 변환 전의 제1 증감률 지표 데이터에 대응하는 임계 구간으로 변환할 수도 있다.
프로세서(910)는 제1 증감률 지표 데이터 또는 제2 증감률 지표 데이터에 임계 구간을 적용하여 상기 임계 구간을 벗어나는 증감률 지표를 이상치로서 검출할 수 있다. 프로세서(910)는 이상치 검출 결과를 시각화하여 사용자에게 제공할 수 있다. 예를 들어, 프로세서(910)는 복수의 항목들 각각에 대한 이전 시점 대비 증감률과 복수의 항목들 각각에 대해 결정된 임계 구간을 나타내는 차트 정보 및/또는 복수의 항목들 각각에 대한 이전 시점 대비 증감률, 일 지표 데이터, 복수의 항목들 각각에 대해 결정된 임계 구간 및 이상치 여부를 나타내는 테이블 정보를 사용자에게 제공할 수 있다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 청구범위와 균등한 것들도 후술하는 청구범위의 범위에 속한다.
100, 900: 지표 이상치 검출 장치
110: 저장부 120: 분석부
130: 제공부 140: 통신부
910: 프로세서 920: 메모리
930: 데이터베이스 940: 사용자 입력 인터페이스
950: 디스플레이 960: 통신 인터페이스

Claims (23)

  1. 프로세서에 의해, 로그 데이터에 기초하여 이전 시점 대비 증감률을 계산하는 것에 의해 제1 증감률 지표 데이터를 획득하는 단계;
    상기 프로세서에 의해, 상기 제1 증감률 지표 데이터에 데이터 변환을 수행하여 제2 증감률 지표 데이터를 획득하는 단계;
    상기 프로세서에 의해, 상기 제2 증감률 지표 데이터의 임계 구간을 결정하는 단계; 및
    상기 프로세서에 의해, 상기 제1 증감률 지표 데이터 또는 상기 제2 증감률 지표 데이터에 상기 임계 구간을 적용하여 상기 임계 구간을 벗어나는 증감률 지표를 이상치로서 검출하는 단계
    를 포함하고,
    상기 제2 증감률 지표 데이터를 획득하는 단계는,
    이전의 미리 설정된 기간 동안의 제1 증감률 지표 데이터에 상기 데이터 변환을 수행하여 상기 제2 증감률 지표 데이터를 획득하는 단계
    를 포함하고,
    상기 제2 증감률 지표 데이터를 획득하는 단계는,
    로그 함수를 이용하여 상기 제1 증감률 지표 데이터의 데이터 값을 변환하는 단계
    를 포함하는,
    지표 이상치 검출 방법.


  2. 삭제
  3. 삭제
  4. 제1항에 있어서,
    상기 제2 증감률 지표 데이터를 획득하는 단계는,
    상기 로그 함수를 이용하여 0보다 작은 제1 증감률 지표 데이터의 데이터 값을 변환하는 단계
    를 포함하는,
    지표 이상치 검출 방법.

  5. 제1항에 있어서,
    상기 임계 구간을 결정하는 단계는,
    이전의 미리 설정된 기간 동안의 제2 증감률 지표 데이터에 기초하여 상기 임계 구간을 결정하는 단계
    를 포함하는,
    지표 이상치 검출 방법.
  6. 제5항에 있어서,
    상기 임계 구간을 결정하는 단계는,
    상기 미리 설정된 기간 동안의 제2 증감률 지표 데이터를 크기 순으로 정렬한 시퀀스에서 사분위수 상의 제1 사분위에 대응하는 제1 값과 상기 사분위수 상의 제3 사분위에 대응하는 제2 값에 기초하여 상기 임계 구간을 결정하는 단계
    를 포함하는,
    지표 이상치 검출 방법.
  7. 제6항에 있어서,
    상기 임계 구간을 결정하는 단계는,
    상기 제3 사분위에 대응하는 상기 제2 값과 상기 제1 사분위에 대응하는 상기 제1 값 간의 차이에 기초하여 기준 범위를 설정하는 단계; 및
    상기 기준 범위에 미리 설정된 가중치를 적용하여 확장된 기준 범위를 상기 임계 구간으로 결정하는 단계
    를 포함하는,
    지표 이상치 검출 방법.
  8. 제1항에 있어서,
    상기 로그 데이터는,
    복수의 항목들 각각에 대한 일별 지표 데이터를 포함하고,
    상기 임계 구간을 결정하는 단계는,
    상기 복수의 항목들 각각에 대해 개별적으로 임계 구간을 결정하는 단계
    를 포함하는,
    지표 이상치 검출 방법.
  9. 제8항에 있어서,
    상기 복수의 항목들 각각에 대한 이전 시점 대비 증감률과 상기 복수의 항목들 각각에 대해 결정된 임계 구간을 나타내는 차트 정보를 사용자에게 제공하는 단계
    를 더 포함하는,
    지표 이상치 검출 방법.
  10. 제8항에 있어서,
    상기 복수의 항목들 각각에 대한 이전 시점 대비 증감률, 일 지표 데이터, 상기 복수의 항목들 각각에 대해 결정된 임계 구간 및 이상치 여부를 나타내는 테이블 정보를 사용자에게 제공하는 단계
    를 더 포함하는,
    지표 이상치 검출 방법.
  11. 제1항에 있어서,
    상기 제1 증감률 지표 데이터를 획득하는 단계는,
    일별 지표 데이터를 포함하는 상기 로그 데이터에 기초하여 전일 대비 증감률을 계산하는 것에 의해 상기 제1 증감률 지표 데이터를 획득하는 단계
    를 포함하는,
    지표 이상치 검출 방법.
  12. 프로세서에 의해, 복수의 항목들의 지표 데이터에 대해 이전 시점 대비 증감률을 계산하는 것에 의해 제1 증감률 지표 데이터를 획득하는 단계;
    상기 프로세서에 의해, 상기 제1 증감률 지표 데이터의 데이터 범위를 변환하여 제2 증감률 지표 데이터를 획득하는 단계;
    상기 프로세서에 의해, 미리 설정된 기간 동안의 상기 제2 증감률 지표 데이터에 기초하여 임계 구간을 결정하는 단계; 및
    상기 프로세서에 의해, 상기 제1 증감률 지표 데이터 또는 상기 제2 증감률 지표 데이터에 상기 임계 구간을 적용하여 상기 임계 구간을 벗어나는 증감률 지표를 이상치로서 검출하는 단계
    를 포함하고,
    상기 제2 증감률 지표 데이터는 로그 함수를 이용하여 이전의 미리 설정된 기간 동안의 제1 증감률 지표 데이터로부터 변환된,
    지표 이상치 검출 방법.

  13. 제1항 및 제4항 내지 제12항 중 어느 한 항의 방법을 수행하는 프로그램을 기록한 컴퓨터 판독 가능 기록매체.

  14. 메모리 및 프로세서를 포함하고,
    상기 메모리는 상기 프로세서에 의해 실행 가능한 인스트럭션들 (instructions)을 저장하고,
    상기 인스트럭션들이 상기 프로세서에 의해 실행될 때, 상기 프로세서는,
    로그 데이터에 기초하여 이전 시점 대비 증감률을 계산하는 것에 의해 제1 증감률 지표 데이터를 획득하고,
    상기 제1 증감률 지표 데이터에 데이터 변환을 수행하여 제2 증감률 지표 데이터를 획득하고,
    상기 제2 증감률 지표 데이터의 임계 구간을 결정하고,
    상기 제1 증감률 지표 데이터 또는 상기 제2 증감률 지표 데이터에 상기 임계 구간을 적용하여 상기 임계 구간을 벗어나는 증감률 지표를 이상치로서 검출하고,
    상기 프로세서는,
    로그 함수를 이용하여 이전의 미리 설정된 기간 동안의 제1 증감률 지표 데이터에 상기 데이터 변환을 수행하여 상기 제2 증감률 지표 데이터를 획득하는,지표 이상치 검출 장치.


  15. 삭제
  16. 제14항에 있어서,
    상기 프로세서는,
    로그 함수를 이용하여 0보다 작은 제1 증감률 지표 데이터의 데이터 값을 변환하는 것에 의해 상기 제2 증감률 지표 데이터를 획득하는,
    지표 이상치 검출 장치.
  17. 제14항에 있어서,
    상기 프로세서는,
    미리 설정된 기간 동안의 제2 증감률 지표 데이터를 크기 순으로 정렬한 시퀀스에서 사분위수 상의 제1 사분위에 대응하는 제1 값과 상기 사분위수 상의 제3 사분위에 대응하는 제2 값에 기초하여 상기 임계 구간을 결정하는,
    지표 이상치 검출 장치.
  18. 제17항에 있어서,
    상기 프로세서는,
    상기 제3 사분위에 대응하는 상기 제2 값과 상기 제1 사분위에 대응하는 상기 제1 값 간의 차이에 기초하여 기준 범위를 설정하고, 상기 기준 범위에 미리 설정된 가중치를 적용하여 확장된 기준 범위를 상기 임계 구간으로 결정하는,
    지표 이상치 검출 장치.
  19. 제14항에 있어서,
    상기 로그 데이터는, 복수의 항목들 각각에 대한 일별 지표 데이터를 포함하고,
    상기 프로세서는,
    상기 복수의 항목들 각각에 대해 개별적으로 임계 구간을 결정하는,
    지표 이상치 검출 장치.
  20. 제19항에 있어서,
    상기 프로세서는,
    상기 복수의 항목들 각각에 대한 이전 시점 대비 증감률과 상기 복수의 항목들 각각에 대해 결정된 임계 구간을 나타내는 차트 정보를 사용자에게 제공하는,
    지표 이상치 검출 장치.

  21. 제19항에 있어서,
    상기 프로세서는,
    상기 복수의 항목들 각각에 대한 이전 시점 대비 증감률, 일 지표 데이터, 상기 복수의 항목들 각각에 대해 결정된 임계 구간 및 이상치 여부를 나타내는 테이블 정보를 사용자에게 제공하는,
    지표 이상치 검출 장치.

  22. 제14항에 있어서,
    상기 프로세서는,
    일별 지표 데이터를 포함하는 상기 로그 데이터에 기초하여 전일 대비 증감률을 계산하는 것에 의해 상기 제1 증감률 지표 데이터를 획득하는,
    지표 이상치 검출 장치.
  23. 메모리 및 프로세서를 포함하고,
    상기 메모리는 상기 프로세서에 의해 실행 가능한 인스트럭션들을 저장하고,
    상기 인스트럭션들이 상기 프로세서에 의해 실행될 때, 상기 프로세서는,
    복수의 항목들의 지표 데이터에 대해 이전 시점 대비 증감률을 계산하는 것에 의해 제1 증감률 지표 데이터를 획득하고,
    상기 제1 증감률 지표 데이터의 데이터 범위를 변환하여 제2 증감률 지표 데이터를 획득하고,
    미리 설정된 기간 동안의 상기 제2 증감률 지표 데이터에 기초하여 임계 구간을 결정하고,
    상기 제1 증감률 지표 데이터 또는 상기 제2 증감률 지표 데이터에 상기 임계 구간을 적용하여 상기 임계 구간을 벗어나는 증감률 지표를 이상치로서 검출하고,
    상기 제2 증감률 지표 데이터는 로그 함수를 이용하여 이전의 미리 설정된 기간 동안의 제1 증감률 지표 데이터로부터 변환된,
    지표 이상치 검출 장치.
KR1020190010400A 2019-01-28 2019-01-28 지표 이상치 검출 방법 및 장치 KR102033163B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190010400A KR102033163B1 (ko) 2019-01-28 2019-01-28 지표 이상치 검출 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190010400A KR102033163B1 (ko) 2019-01-28 2019-01-28 지표 이상치 검출 방법 및 장치

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020190124706A Division KR20200093410A (ko) 2019-10-08 2019-10-08 지표 이상치 검출 방법 및 장치

Publications (1)

Publication Number Publication Date
KR102033163B1 true KR102033163B1 (ko) 2019-10-16

Family

ID=68421438

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190010400A KR102033163B1 (ko) 2019-01-28 2019-01-28 지표 이상치 검출 방법 및 장치

Country Status (1)

Country Link
KR (1) KR102033163B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210076506A (ko) * 2019-12-16 2021-06-24 주식회사 카카오 캘린더 서비스를 제공하는 방법 및 그 장치
CN113760879A (zh) * 2021-08-24 2021-12-07 携程旅游信息技术（上海）有限公司 数据库异常监测方法、系统、电子设备及介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101358266B1 (ko) * 2012-03-30 2014-02-20 (주)네오위즈게임즈 게임 어뷰저 검출 방법 및 이를 실행하는 게임 어뷰저 검출 서버
JP5941156B2 (ja) * 2011-11-10 2016-06-29 ギャンブリット ゲーミング，エルエルシー チート防止ハイブリッドゲーム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5941156B2 (ja) * 2011-11-10 2016-06-29 ギャンブリット ゲーミング，エルエルシー チート防止ハイブリッドゲーム
KR101358266B1 (ko) * 2012-03-30 2014-02-20 (주)네오위즈게임즈 게임 어뷰저 검출 방법 및 이를 실행하는 게임 어뷰저 검출 서버

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210076506A (ko) * 2019-12-16 2021-06-24 주식회사 카카오 캘린더 서비스를 제공하는 방법 및 그 장치
KR102298414B1 (ko) 2019-12-16 2021-09-06 주식회사 카카오 캘린더 서비스를 제공하는 방법 및 그 장치
KR20210110280A (ko) * 2019-12-16 2021-09-07 주식회사 카카오 캘린더 서비스를 제공하는 방법 및 그 장치
KR102411952B1 (ko) 2019-12-16 2022-06-22 주식회사 카카오 캘린더 서비스를 제공하는 방법 및 그 장치
CN113760879A (zh) * 2021-08-24 2021-12-07 携程旅游信息技术（上海）有限公司 数据库异常监测方法、系统、电子设备及介质
CN113760879B (zh) * 2021-08-24 2024-02-27 携程旅游信息技术（上海）有限公司 数据库异常监测方法、系统、电子设备及介质

Similar Documents

Publication Publication Date Title
US9392022B2 (en) Methods and apparatus to measure compliance of a virtual computing environment
EP3346428A1 (en) Sensor design support apparatus, sensor design support method and computer program
US20160371138A1 (en) Anomaly detection service
KR102033163B1 (ko) 지표 이상치 검출 방법 및 장치
CN114298221A (zh) 故障确定方法及装置、电子设备和计算机可读存储介质
US11265232B2 (en) IoT stream data quality measurement indicator and profiling method and system therefor
US9116804B2 (en) Transient detection for predictive health management of data processing systems
CA3045989C (en) Two tier automatic cost estimation for automatic manufacture of spare parts
US10459826B2 (en) Run time workload threshold alerts for customer profiling visualization
KR102269647B1 (ko) 서버 성능 모니터링 장치
US9923758B2 (en) Alert damage index
US10909016B2 (en) Management computer and method of managing computer to be managed
CN113626734B (zh) 用户行为引导方法、装置、电子设备及存储介质
US11113364B2 (en) Time series data analysis control method and analysis control device
US10459834B2 (en) Run time and historical workload report scores for customer profiling visualization
US10642923B2 (en) Graphs with normalized actual value measurements and baseline bands representative of normalized measurement ranges
KR20170015789A (ko) 사용자 정의기반의 다차원 데이터를 시각화하는 방법 및 시스템
KR20200093410A (ko) 지표 이상치 검출 방법 및 장치
US10909177B1 (en) Percentile determination system
US8712738B2 (en) Determining ill conditioning in square linear system of equations
CN114461499A (zh) 异常信息检测模型的构建方法和灰度环境异常检测方法
CN114266501A (zh) 医院运营指标的自动预测和根因分析方法及系统
US10331818B2 (en) Simulation system and simulation method
US10552485B1 (en) Performance percentile determination and display
US20230048513A1 (en) Intelligent cloud service health communication to customers

Legal Events

Date Code Title Description
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
A107 Divisional application of patent
GRNT Written decision to grant