KR20200134561A - 이상치 발생 여부를 속성별로 시각화하는 방법, 컴퓨팅 디바이스 및 컴퓨터 판독 가능한 저장 매체 - Google Patents

이상치 발생 여부를 속성별로 시각화하는 방법, 컴퓨팅 디바이스 및 컴퓨터 판독 가능한 저장 매체 Download PDF

Info

Publication number
KR20200134561A
KR20200134561A KR1020190060176A KR20190060176A KR20200134561A KR 20200134561 A KR20200134561 A KR 20200134561A KR 1020190060176 A KR1020190060176 A KR 1020190060176A KR 20190060176 A KR20190060176 A KR 20190060176A KR 20200134561 A KR20200134561 A KR 20200134561A
Authority
KR
South Korea
Prior art keywords
outlier
attribute
attribute value
occurred
payment
Prior art date
Application number
KR1020190060176A
Other languages
English (en)
Other versions
KR102245718B1 (ko
Inventor
최원규
유새아름
김희철
윤세은
나상선
최은혁
오석근
Original Assignee
카페24 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 카페24 주식회사 filed Critical 카페24 주식회사
Priority to KR1020190060176A priority Critical patent/KR102245718B1/ko
Publication of KR20200134561A publication Critical patent/KR20200134561A/ko
Application granted granted Critical
Publication of KR102245718B1 publication Critical patent/KR102245718B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0607—Regulated
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/904—Browsing; Visualisation therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/08—Payment architectures
    • G06Q20/12—Payment architectures specially adapted for electronic shopping systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/38—Payment protocols; Details thereof
    • G06Q20/40—Authorisation, e.g. identification of payer or payee, verification of customer or shop credentials; Review and approval of payers, e.g. check credit lines or negative lists
    • G06Q20/405—Establishing or using transaction specific rules
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0613—Third-party assisted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0633—Lists, e.g. purchase orders, compilation or processing

Abstract

프로세서 및 메모리를 포함하는 컴퓨팅 디바이스에 의해 수행되는, 성공 상태 또는 실패 상태를 가지는 대상 변수의 시계열에 대한 이상치 발생 여부를 속성별로 시각화하는 방법이 제공된다. 방법은, 미리 결정된 시간 길이를 가지는 복수의 시간 구간들 각각에 대해, 대상 변수에 대한 복수의 속성 및 이와 같은 속성에 따른 하나 이상의 속성값 마다의 각각의 시간 구간들에서의 이상치 발생 여부를 결정하는 단계와, 복수의 시간 구간들 각각에 대한 각각의 속성 및 속성값 마다의 이상치 발생 여부를 표시부로 출력하는 단계를 포함한다.

Description

이상치 발생 여부를 속성별로 시각화하는 방법, 컴퓨팅 디바이스 및 컴퓨터 판독 가능한 저장 매체{A METHOD FOR VISUALIZING OUTLIERS OCCURRENCES BASED ON KEYS, A COMPUTING DEVICE AND A COMPUTER READABLE STORAGE MEDIUM}
본 발명은 이상치 발생 여부 검출에 관한 것으로서, 보다 구체적으로는 성공 상태 또는 실패 상태를 가지는 대상 변수의 시계열에 대한 이상치 발생 여부를 속성별로 시각화하는 방법, 컴퓨팅 디바이스 및 컴퓨터 판독 가능한 저장 매체에 관한 것이다.
동일한 원천에서 만들어지는 시계열을 구성하는 각각의 값에 대해서 최종적인 결과가 여러 개의 "상태"로 나뉘는 경우가 존재한다. 목적 달성의 결과에 따라 상태 (예를 들어, "성공" 과 "실패") 가 분류될 수 있으며, 회원 가입의 경우라면 "가입"과 취소"의 상태가 존재한다. 또한, 상품을 판매한 경우 "정상", 그리고 "환불" 혹은 "반품"으로 결과가 귀결될 수 있다.
구체적으로, 예를 들어, 온라인 쇼핑몰의 결제 시도에 대해서는 "성공" 또는 "실패" 상태가 존재할 수 있다. 이러한 온라인 쇼핑몰의 결제 시도는 복수의 속성 및 이에 상응하는 속성값을 가질 수 있다. 일반적으로, 쇼핑몰에서 결제를 진행하면 쇼핑몰의 솔루션, 결제 대항사 (Payment Gateway, PG), 금융사의 순서로 결제가 이루어지므로, 온라인 쇼핑몰의 결제 시도는 예를 들어 쇼핑몰 솔루션, 결제 대행사, 금융사를 속성으로 가질 수 있고, 각 속성별로 하나 이상의 속성값이 존재할 수 있다. 온라인 쇼핑몰의 결제 시도가 실패한 경우에 있어서 그 실패의 원인을 파악하고 적절히 대처하는 것이 중요한데, 여기서 온라인 쇼핑몰의 결제 시도는 복수의 단계 (즉, 속성) 을 가지므로 복수의 속성 중 어느 속성, 또는 어느 속성값이 실패의 원인이 되는지 여부를 파악하는 것이 요구된다.
다만, 다양한 경로를 통해 결제가 일어나기 때문에, 건수가 작은 경로를 통해 일어나는 이상 상황은 전체 결제 비율 모니터링으로 발견하는 것이 어려우며, 전체 건수에서 이상치가 발견되는 경우에도, 어떠한 원인 (경로) 에 의한 것인지 여부를 파악하는 것이 요구된다.
한국 공개특허공보 제 10-2013-0107889 호 ("이상 서브시퀀스 검출 장치 및 방법", 삼성전자주식회사)
전술한 문제점을 해결하기 위한 본 발명의 목적은 성공 상태의 개수 및 실패 상태의 개수를 기반으로 특정 시간 구간에서의 이상치 발생 여부를 결정하는 것에 따라, 비정상적으로 결제가 실패하는 상황을 자동으로 감지할 수 있는, 성공 상태 또는 실패 상태를 가지는 대상 변수의 시계열에 대한 이상치 발생 여부를 검출하는 방법 및 이를 수행할 수 있는 컴퓨팅 디바이스, 컴퓨터 판독 가능한 저장 매체를 제공하는 것이다.
전술한 문제점을 해결하기 위한 본 발명의 다른 목적은 이상치가 발생한 시계열에 대해서 복수의 속성 및 하나 이상의 속성값 마다의 이상치 발생 여부를 각각 판단하고 이를 시각화하는 것에 의해 사용자로 하여금 어떠한 속성 또는 속성값의 조합에 문제가 있는가 여부를 용이하게 파악하게 할 수 있는, 성공 상태 또는 실패 상태를 가지는 대상 변수의 시계열에 대한 이상치 발생 여부를 속성별로 시각화하는 방법 및 이를 수행할 수 있는 컴퓨팅 디바이스, 컴퓨터 판독 가능한 저장 매체를 제공하는 것이다.
전술한 문제점을 해결하기 위한 본 발명의 다른 목적은 이상치가 발생한 시계열에 대해서 복수의 속성 및 하나 이상의 속성값 마다의 이상치 발생 여부를 복수의 시간 구간들 마다 각각 판단하고, 동일 시간 구간에서의 이상치 발생 여부 판단이 일치하는 정도를 기반으로 특정 속성값 또는 속성값 조합을 이상치 발생에 대한 위험 인자로서 결정할 수 있는, 성공 상태 또는 실패 상태를 가지는 대상 변수의 시계열에 대한 이상치 발생의 위험 인자를 결정하는 방법 및 이를 수행할 수 있는 컴퓨팅 디바이스, 컴퓨터 판독 가능한 저장 매체를 제공하는 것이다.
전술한 문제점을 해결하기 위한 본 발명의 다른 목적은 특정 시간 구간 동안 이상치가 발생한 속성값들을 결정하고, 이상치가 발생한 속성값들의 조합들 각각에 대해 속성 만족 여부에 따른 확률 변동 여부를 기반으로 우선순위를 결정함으로써, 높은 우선순위를 가지는 조합의 속성값의 조합을 이상치 발생에 대한 위험 인자로서 결정할 수 있는, 성공 상태 또는 실패 상태를 가지는 대상 변수의 변수 값 샘플들의 시계열에 대한 이상치 발생의 위험 인자를 결정하는 방법 및 이를 수행할 수 있는 컴퓨팅 디바이스, 컴퓨터 판독 가능한 저장 매체를 제공하는 것이다.
다만, 본 발명의 해결하고자 하는 과제는 이에 한정되는 것이 아니며, 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위에서 다양하게 확장될 수 있을 것이다.
전술한 목적을 달성하기 위한 본 발명의 일 실시예에 따른 성공 상태 또는 실패 상태를 가지는 대상 변수의 시계열에 대한 이상치 발생 여부를 검출하는 방법은, 프로세서 및 메모리를 포함하는 컴퓨팅 디바이스에 의해 수행되고, 상기 방법은, 미리 결정한 시간 길이를 가지는 제 1 시간 구간 동안, 성공 상태 또는 실패 상태를 가지는 대상 변수 값의 시계열을 획득하는 단계; 및 상기 제 1 시간 구간 동안의 상기 대상 변수 값의 성공 상태의 개수 및 실패 상태의 개수를 기반으로 상기 제 1 시간 구간에서의 상기 대상 변수의 시계열에 대한 이상치 발생 여부를 결정하는 단계를 포함할 수 있다.
일 측면에 따르면, 상기 대상 변수는 적어도 하나의 온라인 쇼핑몰에서의 결제 시도에 대한 성공 또는 실패 여부를 나타낼 수 있다.
일 측면에 따르면, 상기 온라인 쇼핑몰에서의 결제 시도에 대한 성공 또는 실패 여부는, 온라인 쇼핑몰의 결제 모듈의 유형에 따른 결제 진행 실패 발생 여부, 결제 대행사 (Payment Gateway) 에 따른 결제 진행 실패 발생 여부, 금융사 서버에 따른 결제 진행 실패 발생 여부, 결제 수단에 따른 결제 진행 실패 발생 여부 및 접속 채널에 따른 결제 진행 실패 발생 여부 중 적어도 하나에 따라 결정될 수 있다.
일 측면에 따르면, 상기 제 1 시간 구간에서의 상기 대상 변수의 시계열에 대한 이상치 발생 여부를 결정하는 단계는, 상기 실패 상태의 발생 확률이 미리 결정한 임계값 이상이라는 결정에 응답하여 이상치 발생 여부를 결정하도록 구성될 수 있다.
일 측면에 따르면, 상기 실패 상태의 발생 확률은, 하기의 수학식에 의해 결정될 수 있다.
(실패 상태의 발생 확률) = (실패 상태의 개수) / (실패 상태의 개수 + 성공 상태의 개수)
일 측면에 따르면, 상기 실패 상태의 발생 확률은, 하기의 수학식에 의해 결정될 수 있다.
(실패 상태의 발생 확률) = (실패 상태의 개수 + 1) / (실패 상태의 개수 + 1 + 성공 상태의 개수 + 1)
일 측면에 따르면, 상기 제 1 시간 구간에서의 상기 대상 변수의 시계열에 대한 이상치 발생 여부를 결정하는 단계는, 상기 실패 상태의 발생 확률이 미리 결정한 임계값 이상이라는 결정에 응답하여 이상치 발생 여부를 결정하는 것에 의해, 결제 시도 횟수의 증가에 따른 실패 횟수 증가를 이상치 발생으로 감지하지 않도록 구성될 수 있다.
일 측면에 따르면, 상기 제 1 시간 구간에서의 상기 대상 변수의 시계열에 대한 이상치 발생 여부를 결정하는 단계는, 상기 성공 상태의 개수에 대한 상기 실패 상태의 개수의 비율이 미리 결정한 임계값 이상이라는 결정에 응답하여 이상치 발생 여부를 결정할 수 있다.
일 측면에 따르면, 상기 성공 상태의 개수에 대한 상기 실패 상태의 개수의 비율은, 하기의 수학식에 의해 결정될 수 있다.
(성공 상태의 개수에 대한 실패 상태의 개수의 비율) = (실패 상태의 개수 + 1) / (성공 상태의 개수 + 1)
일 측면에 따르면, 상기 제 1 시간 구간에서의 상기 대상 변수의 시계열에 대한 이상치 발생 여부를 결정하는 단계는, 온라인 쇼핑몰의 결제 모듈의 유형 각각에 대한 이상치 발생 여부; 결제 대행사 (Payment Gateway) 각각에 대한 이상치 발생 여부; 금융사 서버 각각에 대한 이상치 발생 여부; 결제 수단 각각에 대한 이상치 발생 여부; 및 접속 채널 각각에 대한 이상치 발생 여부를 결정하도록 구성될 수 있다.
전술한 문제점을 해결하기 위한 본 발명의 다른 실시예에 따른 컴퓨팅 디바이스는, 프로세서 및 메모리를 포함하고, 상기 컴퓨팅 디바이스는 성공 상태 또는 실패 상태를 가지는 대상 변수의 시계열에 대한 이상치 발생 여부를 검출하도록 구성되고, 상기 프로세서는, 미리 결정한 시간 길이를 가지는 제 1 시간 구간 동안, 성공 상태 또는 실패 상태를 가지는 대상 변수 값의 시계열을 획득하고; 그리고 상기 제 1 시간 구간 동안의 상기 대상 변수 값의 성공 상태의 개수 및 실패 상태의 개수를 기반으로 상기 제 1 시간 구간에서의 상기 대상 변수의 시계열에 대한 이상치 발생 여부를 결정하도록 구성될 수 있다.
일 측면에 따르면, 상기 대상 변수는 적어도 하나의 온라인 쇼핑몰에서의 결제 시도에 대한 성공 또는 실패 여부를 나타낼 수 있다.
일 측면에 따르면, 상기 온라인 쇼핑몰에서의 결제 시도에 대한 성공 또는 실패 여부는, 온라인 쇼핑몰의 결제 모듈의 유형에 따른 결제 진행 실패 발생 여부, 결제 대행사 (Payment Gateway) 에 따른 결제 진행 실패 발생 여부, 금융사 서버에 따른 결제 진행 실패 발생 여부, 결제 수단에 따른 결제 진행 실패 발생 여부 및 접속 채널에 따른 결제 진행 실패 발생 여부 중 적어도 하나에 따라 결정될 수 있다.
일 측면에 따르면, 상기 제 1 시간 구간에서의 상기 대상 변수의 시계열에 대한 이상치 발생 여부를 결정하는 것은, 상기 실패 상태의 발생 확률이 미리 결정한 임계값 이상이라는 결정에 응답하여 이상치 발생 여부를 결정하는 것일 수 있다.
일 측면에 따르면, 상기 실패 상태의 발생 확률은, 하기의 수학식에 의해 결정될 수 있다.
(실패 상태의 발생 확률) = (실패 상태의 개수) / (실패 상태의 개수 + 성공 상태의 개수)
일 측면에 따르면, 상기 실패 상태의 발생 확률은, 하기의 수학식에 의해 결정될 수 있다.
(실패 상태의 발생 확률) = (실패 상태의 개수 + 1) / (실패 상태의 개수 + 1 + 성공 상태의 개수 + 1)
일 측면에 따르면, 상기 제 1 시간 구간에서의 상기 대상 변수의 시계열에 대한 이상치 발생 여부를 결정하는 것은, 상기 실패 상태의 발생 확률이 미리 결정한 임계값 이상이라는 결정에 응답하여 이상치 발생 여부를 결정하는 것에 의해, 결제 시도 횟수의 증가에 따른 실패 횟수 증가를 이상치 발생으로 감지하지 않도록 구성될 수 있다.
일 측면에 따르면, 상기 제 1 시간 구간에서의 상기 대상 변수의 시계열에 대한 이상치 발생 여부를 결정하는 것은, 상기 성공 상태의 개수에 대한 상기 실패 상태의 개수의 비율이 미리 결정한 임계값 이상이라는 결정에 응답하여 이상치 발생 여부를 결정하는 것일 수 있다.
일 측면에 따르면, 상기 성공 상태의 개수에 대한 상기 실패 상태의 개수의 비율은, 하기의 수학식에 의해 결정될 수 있다.
(성공 상태의 개수에 대한 실패 상태의 개수의 비율) = (실패 상태의 개수 + 1) / (성공 상태의 개수 + 1)
일 측면에 따르면, 상기 제 1 시간 구간에서의 상기 대상 변수의 시계열에 대한 이상치 발생 여부를 결정하는 것은, 온라인 쇼핑몰의 결제 모듈의 유형 각각에 대한 이상치 발생 여부; 결제 대행사 (Payment Gateway) 각각에 대한 이상치 발생 여부; 금융사 서버 각각에 대한 이상치 발생 여부; 결제 수단 각각에 대한 이상치 발생 여부; 및 접속 채널 각각에 대한 이상치 발생 여부를 결정하도록 구성될 수 있다.
전술한 문제점을 해결하기 위한 본 발명의 다른 실시예에 따른, 성공 상태 또는 실패 상태를 가지는 대상 변수의 시계열에 대한 이상치 발생 여부를 검출하기 위한, 프로세서에 의해 실행 가능한 명령어들을 포함하는 컴퓨터 판독 가능한 저장 매체에 있어서, 상기 명령어들은 상기 프로세서에 의해 실행되었을 때 상기 프로세서로 하여금, 미리 결정한 시간 길이를 가지는 제 1 시간 구간 동안, 성공 상태 또는 실패 상태를 가지는 대상 변수 값의 시계열을 획득하고; 그리고 상기 제 1 시간 구간 동안의 상기 대상 변수 값의 성공 상태의 개수 및 실패 상태의 개수를 기반으로 상기 제 1 시간 구간에서의 상기 대상 변수의 시계열에 대한 이상치 발생 여부를 결정하게 하도록 구성될 수 있다.
전술한 문제점을 해결하기 위한 본 발명의 다른 실시예에 따른, 성공 상태 또는 실패 상태를 가지는 대상 변수의 시계열에 대한 이상치 발생 여부를 속성별로 시각화하는 방법은 프로세서 및 메모리를 포함하는 컴퓨팅 디바이스에 의해 수행되고, 상기 방법은, 미리 결정된 시간 길이를 가지는 복수의 시간 구간들 각각에 대해, 상기 대상 변수에 대한 복수의 속성 및 상기 속성에 따른 하나 이상의 속성값 마다의 각각의 시간 구간들에서의 이상치 발생 여부를 결정하는 단계; 및 상기 복수의 시간 구간들 각각에 대한 각각의 속성 및 속성값 마다의 이상치 발생 여부를 표시부로 출력하는 단계를 포함할 수 있다.
일 측면에 따르면, 상기 대상 변수는 적어도 하나의 온라인 쇼핑몰에서의 결제 시도에 대한 성공 또는 실패 여부를 나타낼 수 있다.
일 측면에 따르면, 상기 속성은 서버, 결제 대행사 (Payment Gateway), 결제 수단 및 접속 채널 중 적어도 하나를 포함할 수 있다.
일 측면에 따르면, 상기 서버 속성에 대해, 상기 속성값은 제 1 서버 및 제 2 서버를 포함하고, 상기 결제 대행사 속성에 대해, 상기 속성값은 제 1 결제 대행사 및 제 2 결제 대행사를 포함하고, 상기 결제 수단 속성에 대해, 상기 속성값은 현금 결제 및 카드 결제를 포함하고, 상기 접속 채널 속성에 대해, 상기 속성값은 i) 제 1 언어 및 고정형 디바이스, ii) 제 2 언어 및 고정형 디바이스, iii) 제 1 언어 및 모바일 디바이스 및 iv) 제 2 언어 및 모바일 디바이스를 포함할 수 있다.
일 측면에 따르면, 상기 이상치 발생 여부를 결정하는 단계는, 상기 복수의 시간 구간들 각각에 대해, 상기 복수의 속성들 중 제 1 속성에 따른 제 1 속성값에 대응하는 변수값들을 기반으로 이상치 발생 여부를 결정하는 단계; 상기 복수의 속성들 중 제 1 속성에 따른 제 2 속성값에 대응하는 변수값들을 기반으로 이상치 발생 여부를 결정하는 단계; 상기 복수의 속성들 중 제 2 속성에 따른 제 3 속성값에 대응하는 변수값들을 기반으로 이상치 발생 여부를 결정하는 단계; 및 상기 복수의 속성들 중 제 2 속성에 따른 제 4 속성값에 대응하는 변수값들을 기반으로 이상치 발생 여부를 결정하는 단계를 포함할 수 있다.
일 측면에 따르면, 상기 출력하는 단계는, 상기 복수의 시간 구간들 각각에 대해, 상기 복수의 속성들 중 제 1 속성에 따른 제 1 속성값에 대응하는 변수값들을 기반으로 결정된 제 1 속성값 기반 이상치 발생 여부를 출력하는 단계; 상기 복수의 속성들 중 제 1 속성에 따른 제 2 속성값에 대응하는 변수값들을 기반으로 결정된 제 2 속성값 기반 이상치 발생 여부를 출력하는 단계; 상기 복수의 속성들 중 제 2 속성에 따른 제 3 속성값에 대응하는 변수값들을 기반으로 결정된 제 3 속성값 기반 이상치 발생 여부를 출력하는 단계; 및 상기 복수의 속성들 중 제 2 속성에 따른 제 4 속성값에 대응하는 변수값들을 기반으로 결정된 제 4 속성값 기반 이상치 발생 여부를 출력하는 단계를 포함할 수 있다.
일 측면에 따르면, 상기 제 1 속성값 기반 이상치 발생 여부를 출력하는 단계 및 제 2 속성값 기반 이상치 발생 여부를 출력하는 단계는, 동일 화면에 상기 제 1 속성값 기반 이상치 발생 여부 및 제 2 속성값 기반 이상치 발생 여부를 출력하도록 구성되고, 상기 제 3 속성값 기반 이상치 발생 여부를 출력하는 단계 및 제 4 속성값 기반 이상치 발생 여부를 출력하는 단계는, 상기 제 1 속성값 기반 이상치 발생 여부 및 제 2 속성값 기반 이상치 발생 여부의 표시 이후에, 동일 화면에 상기 제 3 속성값 기반 이상치 발생 여부 및 제 4 속성값 기반 이상치 발생 여부를 출력하도록 구성될 수 있다.
일 측면에 따르면, 상기 제 1 속성값 기반 이상치 발생 여부를 출력하는 단계, 제 2 속성값 기반 이상치 발생 여부를 출력하는 단계, 제 3 속성값 기반 이상치 발생 여부를 출력하는 단계 및 제 4 속성값 기반 이상치 발생 여부를 출력하는 단계는 동일 화면에 이상치 발생 여부를 전부 출력하도록 구성될 수 있다.
일 측면에 따르면, 상기 제 1 속성값 기반 이상치 발생 여부를 출력하는 단계는, 미리 결정된 개수의 상기 시간 구간들을 포함하는 기준 시간 구간 동안의 상기 제 1 속성값을 기반으로 결정된 이상치 발생 시간 구간의 개수가 미리 결정된 임계값보다 더 많다는 결정에 응답하여 상기 제 1 속성값 기반 이상치 발생 여부를 출력하도록 구성될 수 있다.
일 측면에 따르면, 상기 출력하는 단계는, 상기 이상치가 발생한 것으로 결정된 시간 구간을 제 1 표시 형식으로 표시하고 이상치가 발생하지 아니한 것으로 결정된 시간 구간을 상기 제 1 표시 형식과 시각적으로 구별되는 제 2 표시 형식으로 표시하도록 구성될 수 있다.
일 측면에 따르면, 상기 제 1 표시 형식과 상기 제 2 표시 형식은 상이한 색상으로 표시되고, 상기 제 2 표시 형식은 이상치 발생의 정도에 따라 명도가 변화하도록 구성될 수 있다.
일 측면에 따르면, 상기 출력하는 단계는, 동일 시간 구간에 대해, 상기 복수의 속성 중 제 1 속성에 대한 속성값 중 어느 하나인 제 1 속성값에 기반하는 이상치 발생 여부 결정이 상기 복수의 속성 중 제 2 속성에 대한 속성값 중 어느 하나인 제 3 속성값에 기반하는 이상치 발생 여부 결정과 동일하다는 결정에 응답하여, 상기 제 1 속성값에 기반하는 이상치 발생 시간 구간의 표시 및 상기 제 3 속성값에 기반하는 이상치 발생 시간 구간의 표시를 상기 제 1 표시 형식 및 상기 제 2 표시 형식과 시각적으로 구별되는 제 3 표시 형식으로 표시하도록 구성될 수 있다.
일 측면에 따르면, 상기 출력하는 단계는, 상기 제 1 속성값 및 상기 제 2 속성값의 조합을 상기 대상 변수의 실패 원인으로서 사용자에게 인식시키도록 상기 제 3 표시 형식으로 표시하도록 구성되는 것일 수 있다.
전술한 문제점을 해결하기 위한 본 발명의 다른 실시예에 따른 컴퓨팅 디바이스는, 프로세서 및 메모리를 포함하고, 상기 컴퓨팅 디바이스는 성공 상태 또는 실패 상태를 가지는 대상 변수의 시계열에 대한 이상치 발생 여부를 속성별로 시각화하도록 구성되고, 상기 프로세서는, 미리 결정된 시간 길이를 가지는 복수의 시간 구간들 각각에 대해, 상기 대상 변수에 대한 복수의 속성 및 상기 속성에 따른 하나 이상의 속성값 마다의 각각의 시간 구간들에서의 이상치 발생 여부를 결정하고; 그리고 상기 복수의 시간 구간들 각각에 대한 각각의 속성 및 속성값 마다의 이상치 발생 여부를 표시부로 출력하도록 구성될 수 있다.
일 측면에 따르면, 상기 대상 변수는 적어도 하나의 온라인 쇼핑몰에서의 결제 시도에 대한 성공 또는 실패 여부를 나타낼 수 있다.
일 측면에 따르면, 상기 속성은 서버, 결제 대행사 (Payment Gateway), 결제 수단 및 접속 채널 중 적어도 하나를 포함할 수 있다.
일 측면에 따르면, 상기 서버 속성에 대해, 상기 속성값은 제 1 서버 및 제 2 서버를 포함하고, 상기 결제 대행사 속성에 대해, 상기 속성값은 제 1 결제 대행사 및 제 2 결제 대행사를 포함하고, 상기 결제 수단 속성에 대해, 상기 속성값은 현금 결제 및 카드 결제를 포함하고, 상기 접속 채널 속성에 대해, 상기 속성값은 i) 제 1 언어 및 고정형 디바이스, ii) 제 2 언어 및 고정형 디바이스, iii) 제 1 언어 및 모바일 디바이스 및 iv) 제 2 언어 및 모바일 디바이스를 포함할 수 있다.
일 측면에 따르면, 상기 이상치 발생 여부를 결정하는 것은, 상기 복수의 시간 구간들 각각에 대해, 상기 복수의 속성들 중 제 1 속성에 따른 제 1 속성값에 대응하는 변수값들을 기반으로 이상치 발생 여부를 결정하는 것; 상기 복수의 속성들 중 제 1 속성에 따른 제 2 속성값에 대응하는 변수값들을 기반으로 이상치 발생 여부를 결정하는 것; 상기 복수의 속성들 중 제 2 속성에 따른 제 3 속성값에 대응하는 변수값들을 기반으로 이상치 발생 여부를 결정하는 것; 및 상기 복수의 속성들 중 제 2 속성에 따른 제 4 속성값에 대응하는 변수값들을 기반으로 이상치 발생 여부를 결정하는 것을 포함할 수 있다.
일 측면에 따르면, 상기 출력하는 것은, 상기 복수의 시간 구간들 각각에 대해, 상기 복수의 속성들 중 제 1 속성에 따른 제 1 속성값에 대응하는 변수값들을 기반으로 결정된 제 1 속성값 기반 이상치 발생 여부를 출력하는 것; 상기 복수의 속성들 중 제 1 속성에 따른 제 2 속성값에 대응하는 변수값들을 기반으로 결정된 제 2 속성값 기반 이상치 발생 여부를 출력하는 것; 상기 복수의 속성들 중 제 2 속성에 따른 제 3 속성값에 대응하는 변수값들을 기반으로 결정된 제 3 속성값 기반 이상치 발생 여부를 출력하는 것; 및 상기 복수의 속성들 중 제 2 속성에 따른 제 4 속성값에 대응하는 변수값들을 기반으로 결정된 제 4 속성값 기반 이상치 발생 여부를 출력하는 것을 포함할 수 있다.
일 측면에 따르면, 상기 제 1 속성값 기반 이상치 발생 여부를 출력하는 것 및 제 2 속성값 기반 이상치 발생 여부를 출력하는 것은, 동일 화면에 상기 제 1 속성값 기반 이상치 발생 여부 및 제 2 속성값 기반 이상치 발생 여부를 출력하도록 구성되고, 상기 제 3 속성값 기반 이상치 발생 여부를 출력하는 것 및 제 4 속성값 기반 이상치 발생 여부를 출력하는 것은, 상기 제 1 속성값 기반 이상치 발생 여부 및 제 2 속성값 기반 이상치 발생 여부의 표시 이후에, 동일 화면에 상기 제 3 속성값 기반 이상치 발생 여부 및 제 4 속성값 기반 이상치 발생 여부를 출력하도록 구성될 수 있다.
일 측면에 따르면, 상기 제 1 속성값 기반 이상치 발생 여부를 출력하는 것, 제 2 속성값 기반 이상치 발생 여부를 출력하는 것, 제 3 속성값 기반 이상치 발생 여부를 출력하는 것 및 제 4 속성값 기반 이상치 발생 여부를 출력하는 것은 동일 화면에 이상치 발생 여부를 전부 출력하도록 구성될 수 있다.
일 측면에 따르면, 상기 제 1 속성값 기반 이상치 발생 여부를 출력하는 것은, 미리 결정된 개수의 상기 시간 구간들을 포함하는 기준 시간 구간 동안의 상기 제 1 속성값을 기반으로 결정된 이상치 발생 시간 구간의 개수가 미리 결정된 임계값보다 더 많다는 결정에 응답하여 상기 제 1 속성값 기반 이상치 발생 여부를 출력하도록 구성될 수 있다.
일 측면에 따르면, 상기 이상치가 발생한 것으로 결정된 시간 구간을 제 1 표시 형식으로 표시하고 이상치가 발생하지 아니한 것으로 결정된 시간 구간을 상기 제 1 표시 형식과 시각적으로 구별되는 제 2 표시 형식으로 표시하도록 구성될 수 있다.
일 측면에 따르면, 상기 제 1 표시 형식과 상기 제 2 표시 형식은 상이한 색상으로 표시되고, 상기 제 2 표시 형식은 이상치 발생의 정도에 따라 명도가 변화하도록 구성될 수 있다.
일 측면에 따르면, 상기 출력하는 것은, 동일 시간 구간에 대해, 상기 복수의 속성 중 제 1 속성에 대한 속성값 중 어느 하나인 제 1 속성값에 기반하는 이상치 발생 여부 결정이 상기 복수의 속성 중 제 2 속성에 대한 속성값 중 어느 하나인 제 3 속성값에 기반하는 이상치 발생 여부 결정과 동일하다는 결정에 응답하여, 상기 제 1 속성값에 기반하는 이상치 발생 시간 구간의 표시 및 상기 제 3 속성값에 기반하는 이상치 발생 시간 구간의 표시를 상기 제 1 표시 형식 및 상기 제 2 표시 형식과 시각적으로 구별되는 제 3 표시 형식으로 표시하도록 구성될 수 있다.
일 측면에 따르면, 상기 출력하는 것은, 상기 제 1 속성값 및 상기 제 2 속성값의 조합을 상기 대상 변수의 실패 원인으로서 사용자에게 인식시키도록 상기 제 3 표시 형식으로 표시하도록 구성되는 것일 수 있다.
전술한 문제점을 해결하기 위한 본 발명의 다른 실시예에 따른, 성공 상태 또는 실패 상태를 가지는 대상 변수의 시계열에 대한 이상치 발생 여부를 속성별로 시각화하기 위한, 프로세서 실행 가능한 명령어들을 포함하는 컴퓨터 판독 가능한 저장 매체에 있어서, 상기 명령어들은 상기 프로세서에 의해 실행되었을 때 상기 프로세서로 하여금, 미리 결정된 시간 길이를 가지는 복수의 시간 구간들 각각에 대해, 상기 대상 변수에 대한 복수의 속성 및 상기 속성에 따른 하나 이상의 속성값 마다의 각각의 시간 구간들에서의 이상치 발생 여부를 결정하고; 그리고 상기 복수의 시간 구간들 각각에 대한 각각의 속성 및 속성값 마다의 이상치 발생 여부를 표시부로 출력하게 하도록 구성될 수 있다.
전술한 문제점을 해결하기 위한 본 발명의 다른 실시예에 따른, 성공 상태 또는 실패 상태를 가지는 대상 변수의 시계열에 대한 이상치 발생의 위험 인자를 결정하는 방법은, 프로세서 및 메모리를 포함하는 컴퓨팅 디바이스에 의해 수행되고, 상기 방법은, 미리 결정된 시간 길이를 가지는 복수의 시간 구간들 각각에 대해, 상기 대상 변수에 대한 복수의 속성 및 상기 속성에 따른 하나 이상의 속성값 마다의 각각의 시간 구간들에서의 이상치 발생 여부를 결정하는 단계; 상기 복수의 시간 구간들에서, 상기 복수의 속성 중 제 1 속성에 대한 속성값 중 어느 하나인 제 1 속성값에 기반하는 이상치 발생 여부 결정이 상기 복수의 속성 중 제 2 속성에 대한 속성값 중 어느 하나인 제 3 속성값에 기반하는 이상치 발생 여부 결정과 일치하는 정도를 기반으로 상기 제 1 속성값 및 제 3 속성값을 속성값 조합으로 결정하는 단계; 및 상기 결정된 속성값 조합을 상기 위험 인자로 결정하는 단계를 포함할 수 있다.
일 측면에 따르면, 상기 일치하는 정도는, 상기 제 1 속성값에 기반하는 이상치 발생 여부 결정이 상기 제 3 속성값에 기반하는 이상치 발생 여부 결정과 일치하는 시간 구간의 개수를 기반으로 산출될 수 있다.
일 측면에 따르면, 상기 일치하는 정도는, 상기 제 1 속성값에 기반하는 이상치 발생 여부 결정이 상기 제 3 속성값에 기반하는 이상치 발생 여부 결정과 일치하는 시간 구간의 개수, 상기 제 1 속성값에 기반하는 이상치 발생 구간의 개수 및 상기 제 3 속성값에 기반하는 이상치 발생 구간의 개수를 기반으로 산출될 수 있다.
일 측면에 따르면, 상기 일치하는 정도는, 아래의 수학식을 기반으로 정규화되는 것에 의해 결정될 수 있다.
(일치하는 정도) = (제 1 속성값에 기반하는 이상치 발생 여부 결정이 제 3 속성값에 기반하는 이상치 발생 여부 결정과 일치하는 시간 구간의 개수) / (제 1 속성값에 기반하는 이상치 발생 구간의 개수 + 제 3 속성값에 기반하는 이상치 발생 구간의 개수) * 2
일 측면에 따르면, 상기 일치하는 정도는, 상기 제 1 속성값에 기반하는 이상치 발생 여부와 상기 제 3 속성값에 기반하는 이상치 발생 여부 사이의 상관 계수를 기반으로 결정될 수 있다.
전술한 문제점을 해결하기 위한, 성공 상태 또는 실패 상태를 가지는 대상 변수의 변수 값 샘플들의 시계열에 대한 이상치 발생의 위험 인자를 결정하는 방법은, 프로세서 및 메모리를 포함하는 컴퓨팅 디바이스에 의해 수행되고, 상기 방법은, 미리 결정된 시간 길이를 가지는 시간 구간 동안, 상기 대상 변수에 대한 복수의 속성 및 상기 속성에 따른 하나 이상의 속성값 마다의 이상치 발생 여부를 결정하는 단계; 상기 복수의 속성 중 제 1 속성에 대한 속성값 중 이상치가 발생한 제 1 속성값과, 상기 복수의 속성 중 제 2 속성에 대한 속성값 중 이상치가 발생한 제 2 속성값을 결정하는 단계; 상기 제 1 속성값 및 제 2 속성값으로 구성 가능한 모든 조합들 각각에 대해, 각 조합의 속성값을 만족하는 샘플들을 기반으로 산출된 제 1 실패 확률과 각 조합의 속성값을 만족하지 아니하는 샘플들을 기반으로 산출된 제 2 실패 확률에 기초하여 우선순위 지표를 산출하는 단계; 및 상기 우선순위 지표를 기반으로 우선순위 조합을 결정하는 단계를 포함할 수 있다.
일 측면에 따르면, 상기 우선순위 지표는 상기 제 1 실패 확률과 제 2 실패 확률의 차이를 기반으로 결정될 수 있다.
일 측면에 따르면, 상기 우선순위 지표는 상기 제 1 실패 확률과 제 2 실패 확률의 비율을 기반으로 결정될 수 있다.
일 측면에 따르면, 상기 우선순위 지표를 산출하는 단계는, 상기 제 1 속성값 및 제 2 속성값으로 구성 가능한 모든 조합들 각각에 대해, 각각의 조합의 속성값이 포함되지 아니하는 다른 속성들의 속성값들로 구성 가능한 모든 조합의 수에 더 기반하여 상기 우선순위 지표를 산출하도록 구성될 수 있다.
일 측면에 따르면, 상기 우선순위 지표는, 상기 제 1 실패 확률 및 제 2 실패 확률에 기반하는 확률 지표와, 상기 다른 속성들의 속성값들로 구성 가능한 모든 조합의 수에 기반하는 설명 지표에 가중치 결정 계수를 곱한 값의 합을 기반으로 결정될 수 있다.
일 측면에 따르면, 상기 우선순위 조합을 결정하는 단계 이후에, 상기 우선순위 조합의 속성값을 만족하는 샘플들을 제외한 나머지 샘플들을 기반으로, 상기 제 1 속성값 및 제 2 속성값으로 구성 가능한 모든 조합들 각각에 대해, 각 조합의 속성값을 만족하는 샘플들을 기반으로 산출된 제 1 실패 확률과 각 조합의 속성값을 만족하지 아니하는 샘플들을 기반으로 산출된 제 2 실패 확률에 기초하여 제 2 우선순위 지표를 산출하는 단계; 및 상기 제 2 우선순위 지표를 기반으로 제 2 우선순위 조합을 결정하는 단계를 더 포함할 수 있다.
일 측면에 따르면, 상기 제 2 우선순위 지표를 산출하는 단계는, 상기 우선순위 조합의 속성값을 만족하는 샘플들을 제외하여 샘플의 개수가 0 이 된 조합을 제외한 나머지 조합들 각각에 대해 상기 제 2 우선순위 지표를 산출하도록 구성될 수 있다.
일 측면에 따르면, 상기 제 2 우선순위 조합이 상기 제 1 속성값 및 제 2 속성값 양쪽 모두를 포함하지 않는 조합 이외의 조합들 중 어느 하나로 결정되는 것에 응답하여, 제 n 우선 순위 지표 산출 및 제 n 우선순위 조합 결정을 수행하는 단계를 더 포함할 수 있다.
일 측면에 따르면, 상기 제 1 우선순위 조합 또는 제 2 우선순위 조합 중 적어도 하나의 조합의 속성값을 이상치 발생에 대한 위험 인자로 결정하는 단계를 더 포함할 수 있다.
일 측면에 따르면, 상기 대상 변수는 적어도 하나의 온라인 쇼핑몰에서의 결제 시도에 대한 성공 또는 실패 여부를 나타낼 수 있다.
일 측면에 따르면, 상기 속성은 서버, 결제 대행사 (Payment Gateway), 결제 수단 및 접속 채널 중 적어도 하나를 포함할 수 있다.
일 측면에 따르면, 상기 서버 속성에 대해, 상기 속성값은 제 1 서버 및 제 2 서버를 포함하고, 상기 결제 대행사 속성에 대해, 상기 속성값은 제 1 결제 대행사 및 제 2 결제 대행사를 포함하고, 상기 결제 수단 속성에 대해, 상기 속성값은 현금 결제 및 카드 결제를 포함하고, 상기 접속 채널 속성에 대해, 상기 속성값은 i) 제 1 언어 및 고정형 디바이스, ii) 제 2 언어 및 고정형 디바이스, iii) 제 1 언어 및 모바일 디바이스 및 iv) 제 2 언어 및 모바일 디바이스를 포함할 수 있다.
전술한 문제점을 해결하기 위한 본 발명의 다른 실시예에 따른 컴퓨팅 디바이스는, 프로세서 및 메모리를 포함하고, 상기 컴퓨팅 디바이스는 성공 상태 또는 실패 상태를 가지는 대상 변수의 시계열에 대한 이상치 발생의 위험 인자를 결정하도록 구성되고, 상기 프로세서는, 미리 결정된 시간 길이를 가지는 복수의 시간 구간들 각각에 대해, 상기 대상 변수에 대한 복수의 속성 및 상기 속성에 따른 하나 이상의 속성값 마다의 각각의 시간 구간들에서의 이상치 발생 여부를 결정하고; 상기 복수의 시간 구간들에서, 상기 복수의 속성 중 제 1 속성에 대한 속성값 중 어느 하나인 제 1 속성값에 기반하는 이상치 발생 여부 결정이 상기 복수의 속성 중 제 2 속성에 대한 속성값 중 어느 하나인 제 3 속성값에 기반하는 이상치 발생 여부 결정과 일치하는 정도를 기반으로 상기 제 1 속성값 및 제 3 속성값을 속성값 조합으로 결정하고; 그리고 상기 결정된 속성값 조합을 상기 위험 인자로 결정하도록 구성될 수 있다.
일 측면에 따르면, 상기 일치하는 정도는, 상기 제 1 속성값에 기반하는 이상치 발생 여부 결정이 상기 제 3 속성값에 기반하는 이상치 발생 여부 결정과 일치하는 시간 구간의 개수를 기반으로 산출될 수 있다.
일 측면에 따르면, 상기 일치하는 정도는, 상기 제 1 속성값에 기반하는 이상치 발생 여부 결정이 상기 제 3 속성값에 기반하는 이상치 발생 여부 결정과 일치하는 시간 구간의 개수, 상기 제 1 속성값에 기반하는 이상치 발생 구간의 개수 및 상기 제 3 속성값에 기반하는 이상치 발생 구간의 개수를 기반으로 산출될 수 있다.
일 측면에 따르면, 상기 일치하는 정도는, 아래의 수학식을 기반으로 정규화되는 것에 의해 결정될 수 있다.
(일치하는 정도) = (제 1 속성값에 기반하는 이상치 발생 여부 결정이 제 3 속성값에 기반하는 이상치 발생 여부 결정과 일치하는 시간 구간의 개수) / (제 1 속성값에 기반하는 이상치 발생 구간의 개수 + 제 3 속성값에 기반하는 이상치 발생 구간의 개수) * 2
일 측면에 따르면, 상기 일치하는 정도는, 상기 제 1 속성값에 기반하는 이상치 발생 여부와 상기 제 3 속성값에 기반하는 이상치 발생 여부 사이의 상관 계수를 기반으로 결정될 수 있다.
전술한 문제점을 해결하기 위한 본 발명의 다른 실시예에 따른 컴퓨팅 디바이스는, 프로세서 및 메모리를 포함하고, 상기 컴퓨팅 디바이스는 성공 상태 또는 실패 상태를 가지는 대상 변수의 변수 값 샘플들의 시계열에 대한 이상치 발생의 위험 인자를 결정하도록 구성되고, 상기 프로세서는, 미리 결정된 시간 길이를 가지는 시간 구간 동안, 상기 대상 변수에 대한 복수의 속성 및 상기 속성에 따른 하나 이상의 속성값 마다의 이상치 발생 여부를 결정하고; 상기 복수의 속성 중 제 1 속성에 대한 속성값 중 이상치가 발생한 제 1 속성값과, 상기 복수의 속성 중 제 2 속성에 대한 속성값 중 이상치가 발생한 제 2 속성값을 결정하고; 상기 제 1 속성값 및 제 2 속성값으로 구성 가능한 모든 조합들 각각에 대해, 각 조합의 속성값을 만족하는 샘플들을 기반으로 산출된 제 1 실패 확률과 각 조합의 속성값을 만족하지 아니하는 샘플들을 기반으로 산출된 제 2 실패 확률에 기초하여 우선순위 지표를 산출하고; 그리고 상기 우선순위 지표를 기반으로 우선순위 조합을 결정하도록 구성될 수 있다.
일 측면에 따르면, 상기 우선순위 지표는 상기 제 1 실패 확률과 제 2 실패 확률의 차이를 기반으로 결정될 수 있다.
일 측면에 따르면, 상기 우선순위 지표는 상기 제 1 실패 확률과 제 2 실패 확률의 비율을 기반으로 결정될 수 있다.
일 측면에 따르면, 상기 우선순위 지표를 산출하는 것은, 상기 제 1 속성값 및 제 2 속성값으로 구성 가능한 모든 조합들 각각에 대해, 각각의 조합의 속성값이 포함되지 아니하는 다른 속성들의 속성값들로 구성 가능한 모든 조합의 수에 더 기반하여 상기 우선순위 지표를 산출하도록 구성될 수 있다.
일 측면에 따르면, 상기 우선순위 지표는, 상기 제 1 실패 확률 및 제 2 실패 확률에 기반하는 확률 지표와, 상기 다른 속성들의 속성값들로 구성 가능한 모든 조합의 수에 기반하는 설명 지표에 가중치 결정 계수를 곱한 값의 합을 기반으로 결정될 수 있다.
일 측면에 따르면, 상기 프로세서는, 상기 우선순위 조합을 결정하는 것 이후에, 상기 우선순위 조합의 속성값을 만족하는 샘플들을 제외한 나머지 샘플들을 기반으로, 상기 제 1 속성값 및 제 2 속성값으로 구성 가능한 모든 조합들 각각에 대해, 각 조합의 속성값을 만족하는 샘플들을 기반으로 산출된 제 1 실패 확률과 각 조합의 속성값을 만족하지 아니하는 샘플들을 기반으로 산출된 제 2 실패 확률에 기초하여 제 2 우선순위 지표를 산출하고; 그리고 상기 제 2 우선순위 지표를 기반으로 제 2 우선순위 조합을 결정하도록 더 구성될 수 있다.
일 측면에 따르면, 상기 제 2 우선순위 지표를 산출하는 것은, 상기 우선순위 조합의 속성값을 만족하는 샘플들을 제외하여 샘플의 개수가 0 이 된 조합을 제외한 나머지 조합들 각각에 대해 상기 제 2 우선순위 지표를 산출하도록 구성될 수 있다.
일 측면에 따르면, 상기 프로세서는, 상기 제 2 우선순위 조합이 상기 제 1 속성값 및 제 2 속성값 양쪽 모두를 포함하지 않는 조합 이외의 조합들 중 어느 하나로 결정되는 것에 응답하여, 제 n 우선 순위 지표 산출 및 제 n 우선순위 조합 결정을 수행하도록 구성될 수 있다.
일 측면에 따르면, 상기 프로세서는, 상기 제 1 우선순위 조합 또는 제 2 우선순위 조합 중 적어도 하나의 조합의 속성값을 이상치 발생에 대한 위험 인자로 결정하도록 더 구성될 수 있다.
일 측면에 따르면, 상기 대상 변수는 적어도 하나의 온라인 쇼핑몰에서의 결제 시도에 대한 성공 또는 실패 여부를 나타낼 수 있다.
일 측면에 따르면, 상기 속성은 서버, 결제 대행사 (Payment Gateway), 결제 수단 및 접속 채널 중 적어도 하나를 포함할 수 있다.
일 측면에 따르면, 상기 서버 속성에 대해, 상기 속성값은 제 1 서버 및 제 2 서버를 포함하고, 상기 결제 대행사 속성에 대해, 상기 속성값은 제 1 결제 대행사 및 제 2 결제 대행사를 포함하고, 상기 결제 수단 속성에 대해, 상기 속성값은 현금 결제 및 카드 결제를 포함하고, 상기 접속 채널 속성에 대해, 상기 속성값은 i) 제 1 언어 및 고정형 디바이스, ii) 제 2 언어 및 고정형 디바이스, iii) 제 1 언어 및 모바일 디바이스 및 iv) 제 2 언어 및 모바일 디바이스를 포함할 수 있다.
전술한 문제점을 해결하기 위한 본 발명의 다른 실시예에 따른, 성공 상태 또는 실패 상태를 가지는 대상 변수의 시계열에 대한 이상치 발생의 위험 인자를 결정하기 위한, 프로세서에 의해 실행 가능한 명령어들을 포함하는 컴퓨터 판독 가능한 저장 매체에 있어서, 상기 명령어들은 상기 프로세서에 의해 실행되었을 때 상기 프로세서로 하여금, 미리 결정된 시간 길이를 가지는 복수의 시간 구간들 각각에 대해, 상기 대상 변수에 대한 복수의 속성 및 상기 속성에 따른 하나 이상의 속성값 마다의 각각의 시간 구간들에서의 이상치 발생 여부를 결정하고; 상기 복수의 시간 구간들에서, 상기 복수의 속성 중 제 1 속성에 대한 속성값 중 어느 하나인 제 1 속성값에 기반하는 이상치 발생 여부 결정이 상기 복수의 속성 중 제 2 속성에 대한 속성값 중 어느 하나인 제 3 속성값에 기반하는 이상치 발생 여부 결정과 일치하는 정도를 기반으로 상기 제 1 속성값 및 제 3 속성값을 속성값 조합으로 결정하고; 그리고 상기 결정된 속성값 조합을 상기 위험 인자로 결정하게 하도록 구성될 수 있다.
전술한 문제점을 해결하기 위한 본 발명의 다른 실시예에 따른, 성공 상태 또는 실패 상태를 가지는 대상 변수의 변수 값 샘플들의 시계열에 대한 이상치 발생의 위험 인자를 결정하기 위한, 프로세서 실행 가능한 명령어들을 포함하는 컴퓨터 판독 가능한 저장 매체에 있어서, 상기 명령어들은 상기 프로세서에 의해 실행되었을 때 상기 프로세서로 하여금, 미리 결정된 시간 길이를 가지는 시간 구간 동안, 상기 대상 변수에 대한 복수의 속성 및 상기 속성에 따른 하나 이상의 속성값 마다의 이상치 발생 여부를 결정하고; 상기 복수의 속성 중 제 1 속성에 대한 속성값 중 이상치가 발생한 제 1 속성값과, 상기 복수의 속성 중 제 2 속성에 대한 속성값 중 이상치가 발생한 제 2 속성값을 결정하고; 상기 제 1 속성값 및 제 2 속성값으로 구성 가능한 모든 조합들 각각에 대해, 각 조합의 속성값을 만족하는 샘플들을 기반으로 산출된 제 1 실패 확률과 각 조합의 속성값을 만족하지 아니하는 샘플들을 기반으로 산출된 제 2 실패 확률에 기초하여 우선순위 지표를 산출하고; 그리고 상기 우선순위 지표를 기반으로 우선순위 조합을 결정하게 하도록 구성될 수 있다.
개시된 기술은 다음의 효과를 가질 수 있다. 다만, 특정 실시예가 다음의 효과를 전부 포함하여야 한다거나 다음의 효과만을 포함하여야 한다는 의미는 아니므로, 개시된 기술의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.
전술한 본 발명의 일 실시예에 따른 성공 상태 또는 실패 상태를 가지는 대상 변수의 시계열에 대한 이상치 발생 여부를 검출하는 방법 및 이를 수행할 수 있는 컴퓨팅 디바이스, 컴퓨터 판독 가능한 저장 매체에 따르면, 성공 상태의 개수 및 실패 상태의 개수를 기반으로 특정 시간 구간에서의 이상치 발생 여부를 결정하는 것에 따라, 비정상적으로 결제가 실패하는 상황을 자동으로 감지할 수 있다. 따라서, 결제 실패 건수만을 이용한 이상치 검출에 비해 계절이나 시간대에 따라 자연스러운 패턴을 가지는 실패 건수를 이상치 검출로 오판하는 문제를 해결할 수 있으며, 보다 용이하게 이상치를 검출할 수 있다.
전술한 본 발명의 일 실시예에 따른 성공 상태 또는 실패 상태를 가지는 대상 변수의 시계열에 대한 이상치 발생 여부를 속성별로 시각화하는 방법 및 이를 수행할 수 있는 컴퓨팅 디바이스, 컴퓨터 판독 가능한 저장 매체에 따르면, 이상치가 발생한 시계열에 대해서 복수의 속성 및 하나 이상의 속성값 마다의 이상치 발생 여부를 각각 판단하고 이를 시각화하는 것에 의해 사용자로 하여금 어떠한 속성 또는 속성값의 조합에 문제가 있는가 여부를 용이하게 파악하게 할 수 있다. 따라서, 복수의 속성 및 속성값들에 따른 전체 조합에 대해서 이상치를 파악하지 않고, 개별 속성별로만 이상치를 파악하여 관리 가능한 수준으로 유지하면서 복수의 속성값들 간의 조합에 따른 위험 인자를 파악하도록 할 수 있다.
전술한 본 발명의 일 실시예에 따른 성공 상태 또는 실패 상태를 가지는 대상 변수의 시계열에 대한 이상치 발생의 위험 인자를 결정하는 방법 및 이를 수행할 수 있는 컴퓨팅 디바이스, 컴퓨터 판독 가능한 저장 매체에 따르면, 이상치가 발생한 시계열에 대해서 복수의 속성 및 하나 이상의 속성값 마다의 이상치 발생 여부를 복수의 시간 구간들 마다 각각 판단하고, 동일 시간 구간에서의 이상치 발생 여부 판단이 일치하는 정도를 기반으로 특정 속성값 또는 속성값 조합을 이상치 발생에 대한 위험 인자로서 결정할 수 있다. 따라서, 간단하게 이상치 발생에 대한 원인이 되는 위험 인자를 도출할 수 있다.
전술한 본 발명의 일 실시예에 따른 성공 상태 또는 실패 상태를 가지는 대상 변수의 변수 값 샘플들의 시계열에 대한 이상치 발생의 위험 인자를 결정하는 방법 및 이를 수행할 수 있는 컴퓨팅 디바이스, 컴퓨터 판독 가능한 저장 매체에 따르면, 특정 시간 구간 동안 이상치가 발생한 속성값들을 결정하고, 이상치가 발생한 속성값들의 조합들 각각에 대해 속성 만족 여부에 따른 확률 변동 여부를 기반으로 우선순위를 결정함으로써, 높은 우선순위를 가지는 조합의 속성값의 조합을 이상치 발생에 대한 위험 인자로서 결정할 수 있다. 따라서, 비교적 적은 연산 과정을 통해서도 자동으로 위험 인자를 구체적으로 특정할 수 있다.
도 1 은 온라인 쇼핑몰 시스템의 예시적인 구조 및 결제 시도에 따른 정보 흐름을 나타낸다.
도 2 는 본 발명의 일 실시예에 따른 성공 상태 또는 실패 상태를 가지는 대상 변수의 시계열에 대한 이상치 발생 여부를 검출하는 방법의 개략적인 흐름도이다.
도 3 은 도 2 의 이상치 발생 여부 결정 단계의 상세 흐름도이다.
도 4 는 본 발명의 일 실시예에 따른 성공 상태 또는 실패 상태를 가지는 대상 변수의 시계열에 대한 이상치 발생 여부를 속성별로 시각화하는 방법의 개략적인 흐름도이다.
도 5 는 도 4 의 이상치 발생 여부 결정 단계의 상세 흐름도이다.
도 6 은 도 4 의 이상치 발생 여부 출력 단계의 상세 흐름도이다.
도 7 은 속성별 이상치 발생 여부 시각화 결과의 개략적인 예시도이다.
도 8 은 이상치 발생 위험 인자 속성값 시각화 결과의 제 1 예시도이다.
도 9 는 이상치 발생 위험 인자 속성값 시각화 결과의 제 2 예시도이다.
도 10 은 이상치 발생 위험 인자 속성값 시각화 결과의 제 3 예시도이다.
도 11 은 이상치 발생 결과에 대한 히트맵 기반 시각화의 예시도이다.
도 12 는 본 발명의 일 실시예에 따른 성공 상태 또는 실패 상태를 가지는 대상 변수의 시계열에 대한 이상치 발생의 위험 인자를 결정하는 방법의 개략적인 흐름도이다.
도 13 은 동시발생 건수 기반의 동시발생 지표 산출 결과의 예시도이다.
도 14 는 정규화된 동시발생 지표 산출 결과의 예시도이다.
도 15 는 상관계수 기반의 동시발생 지표 산출 결과의 예시도이다.
도 16 은 본 발명의 일 실시예에 따른 성공 상태 또는 실패 상태를 가지는 대상 변수의 변수 값 샘플들의 시계열에 대한 이상치 발생의 위험 인자를 결정하는 방법의 개략적인 흐름도이다.
도 17 은 속성값 별 이상치 발생 여부 체크 절차의 예시도이다.
도 18 은 이상치 발생 속성값들의 조합 구성 절차의 예시도이다.
도 19 는 실패 확률 변동을 기반으로 하는 우선순위 지표 산출의 예시도이다.
도 20 은 우선순위 지표를 이용한 우선순위 조합 결정의 예시도이다.
도 21 은 실패 확률 변동을 기반으로 하는 제 2 우선순위 지표 산출 및 제 2 우선순위 조합 결정의 예시도이다.
도 22 는 실패 확률 변동 및 설명 지표를 기반으로 하는 제 2 우선순위 지표 산출 및 제 2 우선순위 조합 결정의 예시도이다.
도 23 은 실패 확률 변동을 기반으로 하는 우선순위 조합 결정 반복의 최종 결과에 대한 예시도이다.
도 24 는 우선순위 조합들 중 의미있는 조합 결정의 예시도이다.
도 25 는 우선순위 조합들을 기반으로 하는 위험인자 산출의 예시도이다.
도 26 은 실패 확률 변동 기반의 우선순위 지표 산출의 예시도이다.
도 27 은 가중 계수 변동에 따른 실패 확률 변동 및 설명 지표 기반 우선순위 산출의 변화를 나타낸다.
도 28 은 본 발명의 일 실시예에 따른 컴퓨팅 디바이스의 예시적인 구성을 나타내는 블록도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다.
그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제 1, 제 2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제 1 구성요소는 제 2 구성요소로 명명될 수 있고, 유사하게 제 2 구성요소도 제 1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
동일한 원천에서 만들어지는 시계열을 구성하는 각각의 값에 대해서 최종적인 결과가 여러 개의 "상태"로 나뉘는 경우가 존재한다. 목적 달성의 결과에 따라 상태 (예를 들어, "성공" 과 "실패") 가 분류될 수 있으며, 회원 가입의 경우라면 "가입"과 취소"의 상태가 존재한다. 또한, 상품을 판매한 경우 "정상", 그리고 "환불" 혹은 "반품"으로 결과가 귀결될 수 있다.
예를 들어, 온라인 쇼핑몰의 결제 서비스와 관련하여, 온라인 쇼핑몰의 결제 시도에 대해서는 "성공" 또는 "실패" 상태가 존재할 수 있다. 일반적으로, 온라인 쇼핑몰에서 결제를 진행하면 쇼핑몰 솔루션에서 결제 요청이 처리된 뒤, 결제 대행사 (Payment Gateway, PG) 로 정보가 전달되고, 결제 대행사에서의 결제 요청이 금융사 (예를 들어, 카드, 카카오, 네이버 등과 같은 결제 서비스 제공 업체) 로 전달되어 순차적으로 결제가 이루어진다. 도 1 은 온라인 쇼핑몰 시스템의 예시적인 구조 및 결제 시도에 따른 정보 흐름을 나타낸다. 도 1 을 참조하여 보다 구체적으로 설명하면, 온라인 쇼핑몰 시스템은 사용자들이 온라인 쇼핑몰 서비스에 접속할 수 있는 단말 (10-1, 10-2), 쇼핑몰 서버 (20), PG 서버 (30), 금융사 서버 (40) 를 포함할 수 있다. 사용자가 단말 (10-1, 10-2) 을 이용하여 쇼핑몰 서버 (20) 에 접속하여, 쇼핑몰 서비스를 통해 원하는 상품에 대한 온라인 결제 요청을 생성할 수 있다. 쇼핑몰 서버 (20) 에서 구현된 결제 솔루션에서는 결제 요청을 처리하고, 이러한 정보를 PG 서버 (30) 로 전달하여, 결제 대행 서비스를 요청할 수 있다. 결제 대행사는 다수의 금융사에 대한 편리한 인터페이스를 제공하고, 보안 유지 등의 서비스를 제공한다. 일부 쇼핑몰은 자체적인 결제 처리 모듈을 구비할 수도 있다. 결제 대행사 서버 (30) 의 결제 요청 처리가 완료되면 금융사 서버 (40) 로 정보가 전달되고 실질적인 결제 처리가 진행될 수 있다.
결제를 진행할 경우, 최종적으로 결제가 성공 또는 실패할 수 있으며, 결제 실패의 경우 매출 기회가 상실되므로 결제 실패 건수가 많아지면 그 원인을 파악하고 적절히 대처하는 것이 쇼핑몰 운영에 매우 중요하다. 본 발명의 실시예에 따른 방법들은 예를 들어 관리 서버 (50) 에 의해 수행될 수 있으며, 본 발명의 실시예에 따른 컴퓨팅 디바이스 (50) 는 관리 서버 (50) 로서 동작할 수도 있다. 관리 서버 (50) 는 쇼핑몰 서버 (20) 로부터 결제 시도의 성공/실패에 관한 변수 값의 시계열을 수신하도록 구성될 수 있다. 또는 PG 서버 (30) 또는 금융사 서버 (40) 로부터 결제 성공 여부에 관한 정보를 전달받도록 구성될 수도 있다. 한편, 도 1 에는 관리 서버 (50) 가 쇼핑몰 서버 (50) 와 별개로서 도시되어 있으나, 관리 서버 (50) 는 쇼핑몰 서버 (20), PG 서버 (30) 또는 금융사 서버 (40) 중 적어도 하나와 일체로서 구현될 수도 있다. 나아가, 쇼핑몰 서버 (20), PG 서버 (30), 금융사 서버 (40) 및 관리 서버 (50) 의 각각의 서버들은 복수의 서버가 통합된 형태로서 구현될 수도 있다.
도 1 에 도시된 바와 같은 온라인 쇼핑몰 서비스 시스템에 있어서, 결제 시도가 실패하는 원인은 매우 다양하다. 먼저, 사용자 오류 (예를 들어, 입력 오류, 한도 초과 등) 가 가능하나, 사용자 오류는 서비스 제공자 측의 원인이 아니므로 이상치 발생에 있어서의 고려대상에서 제외할 수 있다. 이외에, 쇼핑몰을 접속하는 브라우저의 오류, 쇼핑몰 솔루션 (예를 들어, 쇼핑몰 서비스에 포함된 결제 모듈 또는 프로그램) 의 오류, 쇼핑몰 솔루션을 구동하는 네트워크나 서버 장비의 오류, 결제 대행사의 내부적인 오류 등이 온라인 쇼핑몰의 결제 시도에 대한 실패 원인이 될 수 있다. 이와 같은 원인들 중, 사용자 오류 (주로, 부정 적발의 범위에 포함) 보다는 시스템이나 서비스의 오류로 인해 결제 실패 건이 급증하는 경우가 문제가 되며, 이러한 상황을 빠르게 감지하고 대응하여야 할 필요가 있다.
결제 실패 건수가 증가하는 원인은, 정상적인 결제 시도 건수의 증가를 포함할 수 있다. 결제 시도의 건수가 증가하면 당연히 실패 건수도 이에 따라 증가할 수 있다. 한편, 다른 원인으로는 시스템 부하로 인한 결제 처리 시간 증가 및 이에 따른 실패 (시간 초과) 증가, 프로그램이나 시스템, 결제 대행사 서비스의 문제로 인한 실패가 가능하다. 전술한 바와 같이 결제 시도 건수 자체의 증가는 자연적으로 실패 건수의 증가로 귀결되므로, 결제 시도 건수의 증가나 시간대에 따른 주기적인 패턴은 제외하고, 시스템, 프로그램, 서비스 등과 같은 시스템 측면의 오류로 인한 이상치만을 추출할 수 있는 것이 유리하다.
이를 위해, 결제 프로세스를 정확히 통제하기 위해서는 매우 자세한 레벨의 점검이 필요하다. 앞서 살핀 바와 같은 쇼핑몰 솔루션, 결제 대행사, 금융사의 속성은 각각 다양한 속성값 (다양한 쇼핑몰 솔루션, 결제 대행사, 금융사가 존재) 을 가지므로, 매우 다양한 경로를 통해 결제가 발생하기 때문에, 건수가 작은 경로를 통해 일어나는 이상 상황은 전체 결제 비율에 대한 모니터링으로 찾아내기가 매우 어렵다. 예를 들어, 쇼핑몰 프로그램의 수정 후 오류가 발생하여, 이이폰을 통해 네이버 페이로 결제하는 부분에서 문제가 생겼으나 이에 해당되는 건수가 너무 작은 경우에는 전체 실패 건수에 미치는 영향이 미미하여 이상치가 발견되지 않을 수 있다.
또한, 전체 건수에서 이상치가 발견되는 경우에도, 어떠한 원인 (경로) 에 의한 것인지를 파악하여야 한다. 예를 들어, 이상치가 발생하였을 때, 이러한 이상치가 특정 서버의 문제인지, 쇼핑몰 프로그램의 문제인지, 특정 결제수단의 문제인지 아니면 결제 대행사의 문제인지 여부를 알기 힘들다.
특히, 다중 속성을 가지는 이상치의 검출시에 모든 속성에 대해 체크하는 것은 현실적으로 불가능하다. 예를 들어, 서버 (~3000 대), 사용 솔루션 버전 (~4 개), 언어 (4 개), 결제 대행사 (22), 결제 수단 (11), 접속 채널 (6), 브라우저 (~50) 등과 같이, 복수의 속성들은 각각 하나 이상의 속성값을 가지고 존재할 수 있다. 이러한 모든 속성의 조합에 대해서 이상치를 체크한다면, 3000 * 4 * 4 * 22 * 11 * 6 * 50 과 같이, 비현실적으로 많은 숫자의 시계열을 체크해야만 하는 문제점이 있다.
따라서, 본 발명의 일 측면에 따르면, 비정상적으로 결제가 실패하는 상황을 자동으로 감지할 수 있는 방법이 제공될 수 있다. 전반적인 시계열 이상치 파악 방법을 기반으로, 실패/성공의 비율을 인자로 이용할 수 있다.
또한, 본 발명의 일 측면에 따르면, 어떠한 속성의 조합에 문제가 있는가 여부를 사용자가 용이하게 파악할 수 있도록 하는 시각화 방법이 제공될 수 있다. 구성될 수 있는 모든 조합이 아닌, 개별 속성의 속성값 별로 이상치를 파악하여 실질적으로 관리 가능한 수준 (예를 들어, 3000 + 4 + 4 + 22 + 11 + 6 + 50) 으로 속성값 별 이상치 발생 여부를 시각화할 수 있다. 개별 속성 이상치를 시간적으로 플랏하여 상관성이 있는 요소들을 시각적으로 자동화하여 파악하도록 할 수 있다.
또한, 본 발명의 일 측면에 따르면, 어떠한 속성의 조합으로 문제가 발생하는지 여부를 자동으로 파악하는 방법이 제공될 수 있다. 복수 시간 구간에서의 이상치 발생 여부의 일치 정도를 기반으로 위험 인자를 파악하도록 하는 방법이 제공될 수 있으며, 또는 개별 속성의 이상치를 이용하여 발생 가능한 속성의 조합을 구성하고, 해당 조합의 결제 실패 확률과, 해당 조합 이외의 표본의 실패 확률의 비율 (이하, '레버리지'라고도 함) 를 계산하여 레버리지가 높은 순서대로 위험 인자를 파악하도록 하는 방법이 제공될 수 있다.
이상치 발생 여부 검출
전술한 바와 같이, 동일한 원천에서 만들어지는 시계열을 구성하는 각각의 값에 대해서 최종적인 결과가 여러 개의 "상태"로 나뉘는 경우가 존재한다. 목적 달성의 결과에 따라 상태 (예를 들어, "성공" 과 "실패") 가 분류될 수 있으며, 회원 가입의 경우라면 "가입"과 취소"의 상태가 존재한다. 또한, 상품을 판매한 경우 "정상", 그리고 "환불" 혹은 "반품"으로 결과가 귀결될 수 있다.
예를 들어 온라인 쇼핑몰의 결제 시도는 "성공" 또는 "실패"의 상태가 존재할 수 있으며, "실패"의 상태가 비정상적으로 증가하는지 여부를 검출하는 것이 중요하다. 즉, 특정 상태에 있는 비율이 정상적이지 않은 경우를 자동적으로 찾아내는 것이 필요하며, 전체 건수가 아닌, "실패" 또는 "비정상", "취소" 등의 비율이 지나치게 높지 않은지 여부, 특정 상품의 환불 비율이 급격히 증가한 것인지 여부, 다양한 결제 수단으로 결제를 진행하였는데 특정 결제 수단의 경우 결제 실패율이 너무 높지는 않은가 여부를 결정하는 것이 필요하다.
전체 건수, 상태별 건수를 이용하여 이상치 검출을 수행 하는 것을 고려할 수 있으나, 아래와 같은 문제점이 발생할 수 있다. 예를 들어, 결제 실패 건수를 이용하여 이상치 검출을 수행할 경우, 계절에 따라, 또는 시간대에 따라 실패 건수가 자연스러운 패턴을 보이게 되며 이러한 패턴을 고려하여 이상치를 검출하는 것이 어렵게 된다. 결제 건수가 증가하면 성공 횟수와 실패 건수가 모두 증가하게 되므로, 단순히 실패 건수만을 파악하는 것만으로는 이상치 검출이 어려울 수 있다.
본 발명의 일 실시예에 따른 성공 상태 또는 실패 상태를 가지는 대상 변수의 시계열에 대한 이상치 발생 여부를 검출하는 방법은, 성공 상태의 개수 및 실패 상태의 개수를 기반으로 특정 시간 구간에서의 이상치 발생 여부를 결정하도록 구성될 수 있다. 따라서, 비정상적으로 결제가 실패하는 상황을 자동으로 감지할 수 있고, 결제 실패 건수만을 이용한 이상치 검출에 비해 계절이나 시간대에 따라 자연스러운 패턴을 가지는 실패 건수를 이상치 검출로 오판하는 문제를 해결할 수 있으며, 보다 용이하게 이상치를 검출할 수 있다.
도 2 는 본 발명의 일 실시예에 따른 성공 상태 또는 실패 상태를 가지는 대상 변수의 시계열에 대한 이상치 발생 여부를 검출하는 방법의 개략적인 흐름도이다. 이하, 도 2 를 참조하여 본 발명의 일 실시예에 따른 대상 변수의 시계열에 대한 이상치 발생 여부를 검출하는 방법에 대해서 보다 구체적으로 설명한다.
도 2 에 도시된 바와 같이, 본 발명의 일 실시예에 따른 성공 상태 또는 실패 상태를 가지는 대상 변수의 시계열에 대한 이상치 발생 여부를 검출하는 방법은, 미리 결정한 시간 길이를 가지는 제 1 시간 구간 동안, 성공 상태 또는 실패 상태를 가지는 대상 변수 값의 시계열을 획득 (단계 210) 할 수 있다. 여기서, 대상 변수는 예를 들어 적어도 하나의 온라인 쇼핑몰에서의 결제 시도에 대한 성공 또는 실패 여부를 나타낼 수 있고, 대상 변수의 변수값이 "성공" 또는 "실패"에 대응하는 값을 가지도록 구성될 수 있다. 미리 결정한 시간 길이를 가지는 제 1 시간 구간 동안, 적어도 하나의 사용자들은 복수의 결제 시도를 생성할 것이고, 제 1 시간 구간 동안 이러한 복수의 결제 시도에 대한 성공 또는 실패 여부에 대한 변수값 역시 복수 개 존재하여 시계열을 형성할 수 있다. 본 발명의 일 측면에 따르면, 미리 결정한 시간 길이를 가지는 제 1 시간 구간 동안의 시계열들을 기반으로, 제 1 시간 구간에서의 이상치 발생 여부를 판단할 수 있다.
다시 도 2 를 참조하면, 획득된 시계열의 변수값들 중에서, 제 1 시간 구간 동안의 대상 변수 값의 성공 상태의 개수 및 실패 상태의 개수를 기반으로 제 1 시간 구간에서의 대상 변수의 시계열에 대한 이상치 발생 여부를 결정 (단계 220) 할 수 있다. 본 발명의 일 측면에 따르면, 특정 상태 (예를 들어, "실패") 의 건수가 아닌, 전체 중의 특정 상태의 확률을 이용하여 이상치가 발생하였는지 여부를 결정하도록 할 수 있다. 실패 확률을 이용할 경우, 전체 모수가 증가하거나 변화하는 패턴에 관계없이 비율은 일정하게 유지되므로, 이상치를 보다 용이하게 검출할 수 있으며 계절이나 시간대에 따른 결제 시도 건수 증가와 무관하게 이상치 발생 여부를 결정하도록 할 수 있다.
구체적으로, 본 발명의 일 측면에 따라 제 1 시간 구간에서의 대상 변수의 시계열에 대한 이상치 발생 여부를 결정하는 단계 (단계 220) 는, 실패 상태의 발생 확률이 미리 결정한 임계값 이상이라는 결정에 응답하여 이상치 발생 여부를 결정하도록 구성될 수 있다. 임계값은 이상치 발생에 대한 민감도를 고려하여, 이상치 발생의 검출이 누락되는 경우를 최소화하기 위해 비교적 낮게 설정되거나, 잘못된 이상치 검출을 최소화하기 위해 비교적 높게 설정될 수도 있다.
본 발명의 일 측면에 따르면, 실패 상태의 발생 확률은, 하기의 수학식 1 에 의해 결정될 수 있다.
[수학식 1]
(실패 상태의 발생 확률) = (실패 상태의 개수) / (실패 상태의 개수 + 성공 상태의 개수)
다만, 수학식 1 에 따를 경우, 전체 건수가 0 인 경우에 계산이 되지 않아 오류가 발생할 수 있으며, 예외 처리가 필요하다. 따라서, 본 발명의 다른 일 측면에 따르면, 실패 상태의 발생 확률은, 하기의 수학식 2 에 의해 결정될 수도 있다.
[수학식 2]
(실패 상태의 발생 확률) = (실패 상태의 개수 + 1) / (실패 상태의 개수 + 1 + 성공 상태의 개수 + 1)
즉, 실패 상태의 개수와 성공 상태의 개수에 각각 1 을 더하는 것에 의해, 오류의 발생 없이 실패 상태의 발생 확률을 계산할 수 있다. 이 경우, 전체 건수가 0 일 때의 확률이 0.5 로 산출될 수 있다.
본 발명의 일 측면에 따른 제 1 시간 구간에서의 대상 변수의 시계열에 대한 이상치 발생 여부를 결정하는 단계 (단계 220) 는, 실패 상태의 발생 확률이 미리 결정한 임계값 이상이라는 결정에 응답하여 이상치 발생 여부를 결정하는 것에 의해, 결제 시도 횟수의 증가에 따른 실패 횟수 증가를 이상치 발생으로 감지하지 않도록 구성될 수 있다.
한편, 실패 확률을 이용할 경우, 항상 0 에서 1 사이의 구간으로 값이 제한되고, 이상치가 발생해도 그 값이 크게 변하지 않아 검출의 용이성이 제한될 수도 있다. 이러한 점을 고려하여, 본 발명의 다른 일 측면에 따르면, 특정 상태와 그 이외 상태의 상대적인 비율을 이용하여 이상치 발생 여부를 검출하도록 구성될 수 있다. 예를 들어, 제 1 시간 구간에서의 대상 변수의 시계열에 대한 이상치 발생 여부를 결정하는 단계 (단계 220) 는, 성공 상태의 개수에 대한 실패 상태의 개수의 비율이 미리 결정한 임계값 이상이라는 결정에 응답하여 이상치 발생 여부를 결정하도록 구성될 수 있다. 성공 상태의 개수에 대한 실패 상태의 개수의 비율은, 확률과는 달리 값이 크게 변화하며 (예를 들어, 총 100 건 중 30 건이 실패하면 확률은 0.3 으로 계산될 수 있고, 비율은 30 / 70 = 0.43 으로 값이 크게 결정) 비정상적인 이상치가 매우 큰 값을 가질 수 있게 되어 이상치의 검출을 보다 용이하게 수행할 수 있다.
한편, 비율을 기반으로 이상치 발생 여부를 결정하는 경우에, 성공 상태의 개수가 0 일 경우 비율의 계산이 불가능하여 오류가 발생할 수 있다. 따라서, 본 발명의 일 측면에 따르면, 성공 상태의 개수에 대한 실패 상태의 개수의 비율은, 하기의 수학식 3 에 의해 결정될 수 있다.
[수학식 3]
(성공 상태의 개수에 대한 실패 상태의 개수의 비율) = (실패 상태의 개수 + 1) / (성공 상태의 개수 + 1)
즉, 실패 상태의 개수와 성공 상태의 개수에 모두 각각 1 을 더하는 것에 의해. 성공 상태의 개수가 0 일 경우에도 오류의 발생 없이 성공 상태의 개수에 대한 실패 상태의 개수의 비율을 산출할 수 있고, 이를 미리 결정한 임계값과 비교하여 이상치 발생 여부를 결정하도록 할 수 있다. 상기와 같은 수학식 3 에 따른 비율의 계산은 일종의 "Laplace 변환"으로서 이해될 수 있다.
한편, 대상 변수가 온라인 쇼핑몰에서의 결제 시도에 대한 성공 또는 실패 여부를 나타내는 것일 때, 온라인 쇼핑몰에서의 결제 시도에 대한 성공 또는 실패 여부는 대상 변수의 복수의 속성에 따라 결정될 수 있다. 예를 들어, 온라인 쇼핑몰에서의 결제 시도에 대한 성공 또는 실패 여부는, 온라인 쇼핑몰의 결제 모듈의 유형에 따른 결제 진행 실패 발생 여부, 결제 대행사 (Payment Gateway) 에 따른 결제 진행 실패 발생 여부, 금융사 서버에 따른 결제 진행 실패 발생 여부, 결제 수단에 따른 결제 진행 실패 발생 여부 및 접속 채널에 따른 결제 진행 실패 발생 여부 중 적어도 하나에 따라 결정될 수도 있다.
따라서, 도 2 의 제 1 시간 구간에서의 상기 대상 변수의 시계열에 대한 이상치 발생 여부를 결정하는 단계 (단계 220) 는, 복수의 속성들에 대한 속성값마다 각각 결정될 수도 있다. 도 3 은 도 2 의 이상치 발생 여부 결정 단계의 상세 흐름도이다. 도 3 에 도시된 바와 같이, 제 1 시간 구간에서의 대상 변수의 시계열에 대한 이상치 발생 여부를 결정하는 단계 (단계 220) 는, 온라인 쇼핑몰의 결제 모듈의 유형 각각에 대한 이상치 발생 여부를 결정 (단계 221)하고, 결제 대행사 (Payment Gateway) 각각에 대한 이상치 발생 여부를 결정하고 (단계 223), 금융사 서버 각각에 대한 이상치 발생 여부를 결정하고 (단계 225), 결제 수단 각각에 대한 이상치 발생 여부를 결정하고 (단계 227), 또한 접속 채널 각각에 대한 이상치 발생 여부를 결정 (단계 229) 하도록 구성될 수 있다. 결제 수단의 속성에 대해서 예를 들면, 카드 결제, 계좌 이체 결제, 간편 페이 결제 등과 같은 결제 수단 속성에 따른 속성값들을 각각 만족하는 결제 시도에 대응하는 변수값들을 기반으로, 각각의 속성값에 대한 이상치 발생 여부를 결정할 수 있다.
도 28 은 본 발명의 일 실시예에 따른 컴퓨팅 디바이스의 예시적인 구성을 나타내는 블록도이다. 도 28 에 도시된 바와 같이, 본 발명의 일 실시예에 따른 컴퓨팅 디바이스 (2800) 는 메모리 (2810), 프로세서 (2820) 를 포함할 수 있다. 또한 송수신부 (2830) 를 포함하여 네트워크 (2840) 를 통해 정보를 송수신하도록 구성될 수 있으며, 송수신을 위한 정보가 메모리 (2810) 에 저장될 수 있고, 프로세서 (2820) 에 실행 가능한 명령어들이 메모리 (2810) 에 저장될 수도 있다.
본 발명의 일 실시예에 따른 컴퓨팅 디바이스는 이상치 발생 여부 검출을 수행하도록 구성될 수 있으며, 보다 구체적으로 컴퓨팅 디바이스가 성공 상태 또는 실패 상태를 가지는 대상 변수의 시계열에 대한 이상치 발생 여부를 검출하도록 구성될 때, 프로세서 (2820) 는, 미리 결정한 시간 길이를 가지는 제 1 시간 구간 동안, 성공 상태 또는 실패 상태를 가지는 대상 변수 값의 시계열을 획득하고, 그리고 제 1 시간 구간 동안의 대상 변수 값의 성공 상태의 개수 및 실패 상태의 개수를 기반으로 제 1 시간 구간에서의 대상 변수의 시계열에 대한 이상치 발생 여부를 결정하도록 구성될 수 있다.
본 발명의 일 실시예에 따른 컴퓨팅 디바이스의 구체적인 동작은, 전술한 본 발명의 일 실시예에 따른 성공 상태 또는 실패 상태를 가지는 대상 변수의 시계열에 대한 이상치 발생 여부를 검출하는 방법에 따라 제어될 수 있다.
이상치 발생 여부의 속성별 시각화
앞서 살핀 바와 같이, 예를 들어 온라인 쇼핑몰의 결제 시도는 복수의 속성 및 이에 상응하는 속성값을 가질 수 있다. 일반적으로, 쇼핑몰에서 결제를 진행하면 쇼핑몰의 솔루션, 결제 대항사 (Payment Gateway, PG), 금융사의 순서로 결제가 이루어지므로, 온라인 쇼핑몰의 결제 시도는 예를 들어 쇼핑몰 솔루션, 결제 대행사, 금융사를 속성으로 가질 수 있고, 각 속성별로 하나 이상의 속성값이 존재할 수 있다. 온라인 쇼핑몰의 결제 시도가 실패한 경우에 있어서 그 실패의 원인을 파악하고 적절히 대처하는 것이 중요한데, 여기서 온라인 쇼핑몰의 결제 시도는 복수의 단계 (즉, 속성) 을 가지므로 복수의 속성 중 어느 속성, 또는 어느 속성값이 실패의 원인이 되는지 여부를 파악하는 것이 요구된다.
다만, 다양한 경로를 통해 결제가 일어나기 때문에, 건수가 작은 경로를 통해 일어나는 이상 상황은 전체 결제 비율 모니터링으로 발견하는 것이 어려우며, 전체 건수에서 이상치가 발견되는 경우에도, 어떠한 원인 (경로) 에 의한 것인지 여부를 파악하는 것이 요구된다.
본 발명의 일 실시예에 따른 본 발명의 일 실시예에 따른, 성공 상태 또는 실패 상태를 가지는 대상 변수의 시계열에 대한 이상치 발생 여부를 속성별로 시각화하는 방법은, 이상치가 발생한 시계열에 대해서 복수의 속성 및 하나 이상의 속성값 마다의 이상치 발생 여부를 각각 판단하고 이를 시각화하는 것에 의해 사용자로 하여금 어떠한 속성 또는 속성값의 조합에 문제가 있는가 여부를 용이하게 파악하게 할 수 있다. 따라서, 복수의 속성 및 속성값들에 따른 전체 조합에 대해서 이상치를 파악하지 않고, 개별 속성별로만 이상치를 파악하여 관리 가능한 수준으로 유지하면서 복수의 속성값들 간의 조합에 따른 위험 인자를 파악하도록 할 수 있다.
도 7 은 속성별 이상치 발생 여부 시각화 결과의 개략적인 예시도이다. 도 7 에 도시된 바와 같이, 가로축을 시간으로, 세로축을 속성 구분 및 각 속성에 따른 복수의 속성값들로 정의된 좌표축에서, 각각의 속성 및 그 속성값에 따른 이상치 발생 여부를 복수의 시간 구간들 마다 시각화할 수 있다. 도 7 에 도시된 바와 같이, 예를 들어 이상치가 발생한 속성값 및 시간 구간에 대해서 점 (Dot) 으로 이상치 발생 여부를 표시하도록 구성될 수 있다. 시간 구간의 시간 길이는 사용자가 미리 결정하도록 할 수 있다.
도 4 는 본 발명의 일 실시예에 따른 성공 상태 또는 실패 상태를 가지는 대상 변수의 시계열에 대한 이상치 발생 여부를 속성별로 시각화하는 방법의 개략적인 흐름도이다. 도 4 에 도시된 바와 같이, 본 발명의 일 실시예에 따른 속성별 시각화 방법은 먼저, 미리 결정된 시간 길이를 가지는 복수의 시간 구간들 각각에 대해, 대상 변수에 대한 복수의 속성 및 이러한 속성에 따른 하나 이상의 속성값 마다의 각각의 시간 구간들에서의 이상치 발생 여부를 결정할 수 있다 (단계 410).
앞서 살핀 바와 같이, 본 발명의 일 측면에 따르면 대상 변수는 적어도 하나의 온라인 쇼핑몰에서의 결제 시도에 대한 성공 또는 실패 여부를 나타내는 변수값을 가질 수 있다. 이 경우, 온라인 쇼핑몰의 결제 시도에 대한 성공 또는 실패 여부를 나타내는 대상 변수는 복수의 속성을 가질 수 있고, 예를 들어 속성은 서버, 결제 대행사 (Payment Gateway), 결제 수단 및 접속 채널 중 적어도 하나를 포함할 수 있고, 각각의 속성에 따른 적어도 하나 이상의 속성값들이 존재할 수 있다. 즉, 시계열을 형성하는 성공 또는 실패 여부를 나타내는 복수의 변수 값들 중에는, 예를 들어 "서버" 속성과 관련하여 제 1 속성값을 가지는 변수 값들이 존재할 수 있고, 제 2 속성값과 상이한 제 2 속성값을 가지는 변수 값들이 존재할 수 있다. 또한, 예를 들어 "결제 대행사" 속성과 관련하여 제 3 속성값을 가지는 변수 값들이 존재할 수 있고, 제 3 속성값과 상이한 제 4 속성값을 가지는 변수 값들이 존재할 수 있다. 이러한 속성 및 속성값들 마다, 각각 복수의 시간 구간들 마다의 이상치 발생 여부를 결정할 수 있다. 이상치 발생 여부의 결정은, 예를 들어 전술한 바와 같은 본 발명의 실시예에 따른 이상치 검출 방법이 적용될 수 있다.
본 발명의 일 측면에 따르면, "서버" 속성에 대해, 속성값은 제 1 서버 및 제 2 서버를 포함하고, "결제 대행사" 속성에 대해, 속성값은 제 1 결제 대행사 및 제 2 결제 대행사를 포함하고, "결제 수단" 속성에 대해, 속성값은 현금 결제 및 카드 결제를 포함하고, "접속 채널" 속성에 대해, 속성값은 i) 제 1 언어 및 고정형 디바이스, ii) 제 2 언어 및 고정형 디바이스, iii) 제 1 언어 및 모바일 디바이스 및 iv) 제 2 언어 및 모바일 디바이스를 포함할 수 있으나, 속성 및 속성값은 이에 한정되지 아니한다.
도 5 는 도 4 의 이상치 발생 여부 결정 단계의 상세 흐름도이다. 도 5 를 참조하여 속성값별 이상치 발생 여부 결정을 보다 구체적으로 설명하면, 도 5 에 도시된 바와 같이 이상치 발생 여부를 결정하는 단계 (단계 410) 는, 복수의 시간 구간들 각각에 대해, 복수의 속성들 중 제 1 속성에 따른 제 1 속성값에 대응하는 변수값들을 기반으로 이상치 발생 여부를 결정 (단계 411) 하고, 복수의 속성들 중 제 1 속성에 따른 제 2 속성값에 대응하는 변수값들을 기반으로 이상치 발생 여부를 결정 (단계 413) 하고, 복수의 속성들 중 제 2 속성에 따른 제 3 속성값에 대응하는 변수값들을 기반으로 이상치 발생 여부를 결정 (단계 415) 하고, 복수의 속성들 중 제 2 속성에 따른 제 4 속성값에 대응하는 변수값들을 기반으로 이상치 발생 여부를 결정 (단계 417) 하도록 구성될 수 있다. 또한, 추가적인 속성들에 대응하는 추가적인 속성값들 각각에 대해서, 또한 상기 제 1 속성 및/또는 제 2 속성의 추가적인 속성값들에 대해서도 각각 이상치 발생 여부를 검출하도록 구성될 수 있다.
다시 도 4 를 참조하면, 복수의 시간 구간들 각각에 대한 각각의 속성 및 속성값 마다의 이상치 발생 여부를 표시부로 출력 (단계 420) 할 수 있다. 도 6 은 도 4 의 이상치 발생 여부 출력 단계의 상세 흐름도이다. 도 6 을 참조하여 보다 구체적으로 설명하면, 출력하는 단계 (단계 420) 는, 복수의 시간 구간들 각각에 대해, 복수의 속성들 중 제 1 속성에 따른 제 1 속성값에 대응하는 변수값들을 기반으로 결정된 제 1 속성값 기반 이상치 발생 여부를 출력 (단계 421) 하고, 복수의 속성들 중 제 1 속성에 따른 제 2 속성값에 대응하는 변수값들을 기반으로 결정된 제 2 속성값 기반 이상치 발생 여부를 출력 (단계 423) 하고, 복수의 속성들 중 제 2 속성에 따른 제 3 속성값에 대응하는 변수값들을 기반으로 결정된 제 3 속성값 기반 이상치 발생 여부를 출력 (단계 425) 하고, 또한 복수의 속성들 중 제 2 속성에 따른 제 4 속성값에 대응하는 변수값들을 기반으로 결정된 제 4 속성값 기반 이상치 발생 여부를 출력 (단계 427) 하도록 구성될 수 있다.
속성 및 속성값별로 출력된 이상치 발생 여부 출력 결과는 예를 들어 도 7 에 도시된 바와 같을 수 있다. 도 7 에 도시된 바와 같이, 가로축에 복수의 시간 구간들이 나열되고, 세로축에 복수의 속성의 구분 및 각 속성에 따른 속성값들이 나열되어, 예를 들어 제 1 속성에 대한 제 1 속성값 및 제 2 속성값, 제 2 속성에 대한 제 3 속성값 및 제 4 속성값이 나열될 수 있다. 각각의 속성 및 속성값과 시간 구간의 조합 중에서, 이상치가 발생한 것으로 결정된 시간 구간들이 표시될 수 있고, 도 7 에서는 예를 들어 점 (dot) 으로 이상치 발생 시간 구간이 표시되었다.
도 11 은 이상치 발생 결과에 대한 히트맵 기반 시각화의 예시도이다. 본 발명의 일 측면에 따르면, 출력하는 단계 (420) 는, 이상치가 발생한 것으로 결정된 시간 구간을 제 1 표시 형식으로 표시하고 이상치가 발생하지 아니한 것으로 결정된 시간 구간을 제 1 표시 형식과 시각적으로 구별되는 제 2 표시 형식으로 표시하도록 구성될 수 있다. 예를 들어, 도 7 과 같은 표시 방법에서, 제 1 표시 형식은 시간 구간만을 배경색으로 표시하는 것일 수 있고, 제 2 표시 형식은 점 (dot) 으로 표시하는 것일 수 있다. 또한 예를 들어, 히트맵 기반의 도 11 과 같은 표시 방법에서, 제 1 표시 형식은 제 1 색상으로 시간 구간의 배경을 표시하는 것 (1110) 일 수 있고, 제 2 표시 형식은 제 1 색상과 상이한 제 2 색상으로 시간 구간의 배경을 표시하는 것 (1120-1, 1120-2, 1120-3) 일 수 있다. 즉, 본 발명의 일 측면에 따르면, 제 1 표시 형식과 상기 제 2 표시 형식은 상이한 색상으로 표시되는 것일 수 있다. 한편, 제 2 표시 형식은 이상치 발생의 정도에 따라 명도가 변화하도록 구성될 수 있고, 따라서 각각 상이한 명도 (1120-1, 1120-2, 1120-3) 로 이상치가 발생한 시간 구간을 표시하도록 할 수 있다. 이상치 발생의 정도는, 예를 들어 확률이나 비율과 같은 미리 결정한 판단 기준 값이 미리 설정된 임계값을 초과하는 정도를 구간으로 나누어 결정하도록 구성될 수 있다.
한편, 비록 도 7 내지 도 11 에서는 각각의 속성 및 속성값에 따른 이상치 검출 결과가 동시에 도시되어 있으나, 복수의 속성들 마다 순차적으로 이상치 검출 결과가 표시되도록 하는 것도 가능하다. 즉, 일 측면에 따르면, 제 1 속성값 기반 이상치 발생 여부의 출력 (단계 421) 및 제 2 속성값 기반 이상치 발생 여부의 출력 (단계423) 은, 동일 화면에 제 1 속성값 기반 이상치 발생 여부 및 제 2 속성값 기반 이상치 발생 여부를 출력하도록 구성되고, 제 3 속성값 기반 이상치 발생 여부의 출력 (단계 425) 및 제 4 속성값 기반 이상치 발생 여부의 출력 (단계 427) 은, 제 1 속성값 기반 이상치 발생 여부 및 제 2 속성값 기반 이상치 발생 여부의 표시 이후에, 동일 화면에 제 3 속성값 기반 이상치 발생 여부 및 제 4 속성값 기반 이상치 발생 여부를 출력하도록 구성될 수 있다.
또는 도 7 내지 도 11 에 도시된 바와 같이, 본 발명의 일 측면에 따르면, 제 1 속성값 기반 이상치 발생 여부의 출력 (단계 421), 제 2 속성값 기반 이상치 발생 여부의 출력 (단계 423), 제 3 속성값 기반 이상치 발생 여부의 출력 (단계 425) 및 제 4 속성값 기반 이상치 발생 여부의 출력 (단계 425) 은 동일 화면에 이상치 발생 여부를 전부 출력하도록 구성될 수도 있다. 나아가, 복수의 속성들 중 어느 속성들을 동일 화면에 출력할지, 또는 복수의 속성 중 특정 속성값을 동시에 출력할지 여부는 상기의 예시들에 한정되지 아니한다.
본 발명의 일 측면에 따르면, 예를 들어 제 1 속성값 기반 이상치 발생 여부를 출력하는 것 (단계 421) 은, 미리 결정된 개수의 시간 구간들을 포함하는 기준 시간 구간 동안의 제 1 속성값을 기반으로 결정된 이상치 발생 시간 구간의 개수가 미리 결정된 임계값보다 더 많다는 결정에 응답하여 제 1 속성값 기반 이상치 발생 여부를 출력하도록 구성될 수 있다. 일 측면에 따르면, 미리 결정된 개수의 시간 구간들을 포함하는 기준 시간 구간 동안, 제 1 속성값을 기반으로 결정된 이상치 발생 시간 구간이 존재한다는 결정에 응답하여 제 1 속성값 기반 이상치 발생 여부를 출력하도록 구성될 수도 있다.
즉, 복수의 속성값 (예를 들어, 제 1 속성값 내지 제 5 속성값) 을 가지는 특정 속성 (예를 들어, 제 1 속성) 에 대해서, 20 개의 시간 구간 (예를 들어, 30분의 시간 길이를 가지는 시간 구간) 을 포함하는 기준 시간 구간 (예를 들어, 10 시간) 동안, 제 1 속성값을 기준으로 판단하였을 때, 임계값 (예를 들어, 2 개) 이상의 시간 구간에서 이상치가 발생하였다고 결정된 경우에만, 제 1 속성값을 기준으로 판단한 이상치 발생 여부 판단 결과를 표시하도록 할 수 있다. 제 2 속성값 내지 제 5 속성값에 대해서 각각 이상치 발생 여부를 판단하였을 때, 임계값 이상의 이상치 발생 구간이 존재하지 않는다면 해당 속성값에 대해서는 이상치 발생 여부 판단 결과를 출력하지 않도록 할 수 있다.
한편, 본 발명의 일 실시예에 따른 시각화 방법의 출력 결과는, 사용자로 하여금 복수의 속성값들 중 대상 변수의 실패를 야기하는 원인을 쉽게 파악할 수 있도록 제공될 수 있다. 즉, 일 측면에 따르면, 출력하는 단계 (단계 420) 는, 이상치 발생 여부를 판단한 복수의 속성 및 속성값 각각에 대해서, 소정 기준을 통해 선택된 특정 속성값 또는 속성값의 조합을, 다른 속성값들과는 상이한 표시 형식으로 표시하는 것에 의해 상기 특정 속성값 또는 속성값의 조합을 대상 변수의 실패 원인으로서 사용자에게 인식하도록 표시할 수 있다. 온라인 쇼핑몰의 결제 시도에 대해서, 예를 들어 "서버" 속성의 "제 1 서버"의 속성값과 "결제 방법" 속성의 "카드 결제"의 속성값에 대해서는 이상치 발생 여부 판단 결과를 출력할 때 다른 속성값들과 상이한 표시 형식으로 출력하는 것에 의해, 사용자가 "제 1 서버" 및 "카드 결제"를 이용한 결제 시도에서 이상치가 더 많이 발생하고, "제 1 서버" 및 "카드 결제"의 속성값의 조합이 결제 실패에 대한 위험 요소임을 인지하도록 할 수 있다.
예를 들어, 출력하는 단계 (단계 420) 는, 동일 시간 구간에 대해, 복수의 속성 중 제 1 속성에 대한 속성값 중 어느 하나인 제 1 속성값에 기반하는 이상치 발생 여부 결정이, 복수의 속성 중 제 2 속성에 대한 속성값 중 어느 하나인 제 3 속성값에 기반하는 이상치 발생 여부 결정과 동일하다는 결정에 응답하여, 제 1 속성값에 기반하는 이상치 발생 시간 구간의 표시 및 제 3 속성값에 기반하는 이상치 발생 시간 구간의 표시를, 이상치가 발생하지 않음을 나타내는 제 1 표시 형식 및 이상치가 발생하였음을 나타내는 제 2 표시 형식과 시각적으로 구별되는 제 3 표시 형식으로 표시하도록 구성될 수 있다.
도 8 은 이상치 발생 위험 인자 속성값 시각화 결과의 제 1 예시도이다. 도 8 을 예를 들어 설명하면, 제 1 속성인 서버 속성 (810), 제 2 속성인 결제 대행사 속성 (820), 제 3 속성인 결제 수단 속성 (830) 및 제 4 속성인 결제 채널 속성 (840) 의 각각의 속성별로, 복수의 속성값들 각각에 대한 이상치 발생 여부 판단 결과가 도시되어 있다. 이상치가 발생한 것으로 판단된 시간 구간에 대해서는 점 (dot) 으로 표시되는 제 2 표시 형식으로 나타나고, 이상치가 발생하지 아니한 것으로 판단된 시간 구간에 대해서는 점 없이 각 시간 구간의 배경색만이 표시될 수 있다. 한편, "서버" 속성 중 "onesper"의 속성값 (810-1) 을 가지는 변수 값들을 기반으로 이상치 발생 여부를 판단하였을 때 특정 시간 구간들 (811) 에서 연속하여 이상치가 발생한 것으로 도시되며, "결제 대행사" 속성 중 "dacom"의 속성값 (820-1) 을 가지는 변수 값들을 기반으로 이상치 발생 여부를 판단하였을 때 역시 동일한 시간 구간들 (821) 에서 연속하여 이상치가 발생한 것으로 나타나고, "결제 수단"의 속성 중 "icash"의 속성값 (830-1) 을 가지는 변수 값들을 기반으로 이상치 발생 여부를 판단하였을 때 역시 동일한 시간 구간들 (831) 에서 연속하여 이상치가 발생한 것으로 나타나므로, 시간 구간들 (811, 821, 831) 에 대해서는 제 3 의 표시 형식 (예를 들어, 도 8 에 도시된 바와 같은 박스 표시의 추가) 으로 출력할 수 있다. 따라서, 사용자는 출력 결과를 기반으로 "onesper" 서버에서 "dacom"의 결제 대행사를 이용하여 "icash"의 결제 수단으로 결제하였을 때 이상치가 더 발생한다는 사실 및 이러한 결제 경로가 결제 실패의 위험 인자 또는 실패 요인이라고 용이하게 판단할 수 있다.
한편, 도 8 에서는 이상치 발생 구간의 일치 여부를 기반으로 위험 인자인 속성값들의 조합을 결정하였지만, 임의의 위험 인자 속성값 결정 방법에 따라 결정된 속성값들을 제 3 표시 형식으로 표시할 수도 있다. 또한, 제 3 표시 형식은 도 8 에 도시된 바와 같은 박스 표시에 한정되지 않으며, 이상치가 발생하지 않거나 공통되는 이상치 발생 구간이 존재하지 않는 시간 구간들과 구별되어 표시되는 임의의 표시 방식이 사용될 수 있다. 또한, 공통되는 이상치 발생 구간을 달리 표시하기보다는, 공통되는 이상치 발생 구간이 존재하는 속성값 전체에 대해서 예를 들어 하이라이트 표시를 부가하는 것과 같이, 구별되게 표시될 수도 있다. 또는 별도의 제 3 표시 형식 없이, 공통 발생 구간을 제 2 표시 형식을 기반으로 사용자가 직접 인지하도록 할 수도 있다.
일 측면에 따르면, 연속되는 시간 구간들에서의 이상치 발생 판단 일치 여부를 판단함에 있어서, 소정의 마진값을 적용할 수 있다. 도 8 에 도시된 바와 같이, "dacom"의 속성값은 시간 구간 (821) 에서 6 개의 시간 구간 동안 이상치가 발생하고, "onesper"의 속성값 및 "icash"의 속성값은 시간 구간 (811, 831) 에서 5 개의 시간 구간 동안 이상치가 발생하지만, 소정의 마진 값을 적용하면 연속하는 6 개의 시간 구간동안 이상치 발생 여부 판단이 일치하는 것으로 결정할 수도 있다.
도 9 는 이상치 발생 위험 인자 속성값 시각화 결과의 제 2 예시도이다. 도 9 에서는 도 8 과 마찬가지로 제 1 속성인 서버 속성 (810), 제 2 속성인 결제 대행사 속성 (820), 제 3 속성인 결제 수단 속성 (830) 및 제 4 속성인 결제 채널 속성 (840) 의 각각의 속성별로, 복수의 속성값들 각각에 대한 이상치 발생 여부 판단 결과가 도시되어 있다. 여기서, "서버" 속성 중 "socal"의 속성값 (810-2) 을 가지는 변수 값들을 기반으로 이상치 발생 여부를 판단하였을 때 특정 시간 구간들 (813) 에서 연속하여 이상치가 발생한 것으로 도시되며, "결제 대행사" 속성 중 "kcp"의 속성값 (820-2) 을 가지는 변수 값들을 기반으로 이상치 발생 여부를 판단하였을 때 역시 동일한 시간 구간들 (823) 에서 연속하여 이상치가 발생한 것으로 나타나므로, 시간 구간들 (813, 823) 에 대해서는 제 3 의 표시 형식 (예를 들어, 도 9 에 도시된 바와 같은 박스 표시의 추가) 으로 출력할 수 있다. 따라서, 사용자는 출력 결과를 기반으로 "socal" 서버에서 "kcp"의 결제 대행사를 이용하여 결제하였을 때 이상치가 더 발생한다는 사실 및 이러한 결제 경로가 결제 실패의 위험 인자 또는 실패 요인이라고 용이하게 판단할 수 있다.
도 10 은 이상치 발생 위험 인자 속성값 시각화 결과의 제 3 예시도이다. 도 10 의 예시에서는 제 1 속성인 서버 속성 (810), 제 2 속성인 결제 대행사 속성 (820) 에 대한 도시가 생략되고, 제 3 속성인 결제 수단 속성 (830) 및 제 4 속성인 결제 채널 속성 (840) 의 각각의 속성별로, 복수의 속성값들 각각에 대한 이상치 발생 여부 판단 결과가 도시되어 있다. 여기서, "결제 수단" 속성 중 "card"의 속성값 (830-3) 을 가지는 변수 값들을 기반으로 이상치 발생 여부를 판단하였을 때 특정 시간 구간들 (835) 에서 이상치가 발생한 것으로 도시되며, "접속 채널" 속성 중 "smartphone_kr"의 속성값 (840-3) 을 가지는 변수 값들을 기반으로 이상치 발생 여부를 판단하였을 때 역시 동일한 시간 구간들 (845) 에서 이상치가 발생한 것으로 나타나므로, 시간 구간들 (835, 845) 에 대해서는 제 3 의 표시 형식 (예를 들어, 도 10 에 도시된 바와 같은 박스 표시의 추가) 으로 출력할 수 있다. 따라서, 사용자는 출력 결과를 기반으로, 스마트폰 (한국어 버전) 을 이용하여 로그인을 하고, "카드"의 결제 수단을 사용하여 결제 시도를 하였을 때 이상치가 더 발생한다는 사실 및 이러한 결제 경로가 결제 실패의 위험 인자 또는 실패 요인이라고 용이하게 판단할 수 있다.
도 28 은 본 발명의 일 실시예에 따른 컴퓨팅 디바이스의 예시적인 구성을 나타내는 블록도이다. 도 28 에 도시된 바와 같이, 본 발명의 일 실시예에 따른 컴퓨팅 디바이스 (2800) 는 메모리 (2810), 프로세서 (2820) 를 포함할 수 있다. 또한 송수신부 (2830) 를 포함하여 네트워크 (2840) 를 통해 정보를 송수신하도록 구성될 수 있으며, 송수신을 위한 정보가 메모리 (2810) 에 저장될 수 있고, 프로세서 (2820) 에 실행 가능한 명령어들이 메모리 (2810) 에 저장될 수도 있다.
본 발명의 일 실시예에 따른 컴퓨팅 디바이스는 이상치 발생 여부의 시각화를 수행하도록 구성될 수 있으며, 보다 구체적으로 컴퓨팅 디바이스가 성공 상태 또는 실패 상태를 가지는 대상 변수의 시계열에 대한 이상치 발생 여부를 속성별로 시각화하도록 구성될 때, 프로세서 (2820) 는, 미리 결정된 시간 길이를 가지는 복수의 시간 구간들 각각에 대해, 대상 변수에 대한 복수의 속성 및 이러한 속성에 따른 하나 이상의 속성값 마다의 각각의 시간 구간들에서의 이상치 발생 여부를 결정하고, 그리고 복수의 시간 구간들 각각에 대한 각각의 속성 및 속성값 마다의 이상치 발생 여부를 표시부로 출력하도록 구성될 수 있다.
본 발명의 일 실시예에 따른 컴퓨팅 디바이스의 구체적인 동작은, 전술한 본 발명의 일 실시예에 따른 성공 상태 또는 실패 상태를 가지는 대상 변수의 시계열에 대한 이상치 발생 여부를 속성별로 시각화하는 방법에 따라 제어될 수 있다.
이상치 발생의 위험 인자 자동 결정 - 동시 발생 지표 기반
성공 및 실패를 상태를 가지는 대상 변수는 복수의 속성 및 그에 따른 속성값을 가질 수 있고, 다양한 원인 (속성값 또는 속성값들의 조합) 에 의해서 실패가 발생할 수 있다. 예를 들어, 일반적으로 쇼핑몰에서 결제를 진행하면 쇼핑몰의 솔루션, 결제 대항사 (Payment Gateway, PG), 금융사의 순서로 결제가 이루어지므로, 온라인 쇼핑몰의 결제 시도는 예를 들어 쇼핑몰 솔루션, 결제 대행사, 금융사를 속성으로 가질 수 있고, 각 속성별로 하나 이상의 속성값이 존재할 수 있다. 온라인 쇼핑몰의 결제 시도가 실패한 경우에 있어서 그 실패의 원인을 파악하고 적절히 대처하는 것이 중요한데, 여기서 온라인 쇼핑몰의 결제 시도는 복수의 단계 (즉, 속성) 을 가지므로 복수의 속성 중 어느 속성, 또는 어느 속성값이 실패의 원인이 되는지 여부를 파악하는 것이 요구되지만, 다양한 경로를 통해 결제가 일어나기 때문에, 건수가 작은 경로를 통해 일어나는 이상 상황은 전체 결제 비율 모니터링으로 발견하는 것이 어려우며, 전체 건수에서 이상치가 발견되는 경우에도, 어떠한 원인 (경로) 에 의한 것인지 여부를 파악하는 것이 요구된다.
관련하여, 본 발명의 일 측면에 따르면, 어떠한 속성의 조합으로 문제가 발생하는지 여부를 자동으로 파악하는 방법이 제공될 수 있다. 복수 시간 구간에서의 이상치 발생 여부의 일치 정도를 기반으로 위험 인자를 파악하도록 하는 방법이 제공될 수 있으며, 또는 개별 속성의 이상치를 이용하여 발생 가능한 속성의 조합을 구성하고, 해당 조합의 결제 실패 확률과, 해당 조합 이외의 표본의 실패 확률의 비율 (이하, '레버리지'라고도 함) 를 계산하여 레버리지가 높은 순서대로 위험 인자를 파악하도록 하는 방법이 제공될 수 있다.
먼저, 본 발명의 일 실시예에 따른 성공 상태 또는 실패 상태를 가지는 대상 변수의 시계열에 대한 이상치 발생의 위험 인자를 결정하는 방법에 따르면, 이상치가 발생한 시계열에 대해서 복수의 속성 및 하나 이상의 속성값 마다의 이상치 발생 여부를 복수의 시간 구간들 마다 각각 판단하고, 동일 시간 구간에서의 이상치 발생 여부 판단이 일치하는 정도를 기반으로 특정 속성값 또는 속성값 조합을 이상치 발생에 대한 위험 인자로서 결정할 수 있다. 따라서, 간단하게 이상치 발생에 대한 원인이 되는 위험 인자를 도출할 수 있다.
도 12 는 본 발명의 일 실시예에 따른 성공 상태 또는 실패 상태를 가지는 대상 변수의 시계열에 대한 이상치 발생의 위험 인자를 결정하는 방법의 흐름도이다. 이하, 도 12 를 참조하여 본 발명의 일 실시예에 따른 위험 인자 결정 방법을 설명한다.
도 12 에 도시된 바와 같이, 본 발명의 일 실시예에 따른, 성공 상태 또는 실패 상태를 가지는 대상 변수의 시계열에 대한 이상치 발생의 위험 인자를 결정하는 방법은, 미리 결정된 시간 길이를 가지는 복수의 시간 구간들 각각에 대해, 대상 변수에 대한 복수의 속성 및 이러한 속성에 따른 하나 이상의 속성값 마다의 각각의 시간 구간들에서의 이상치 발생 여부를 결정 (단계 1210) 할 수 있다.
본 발명의 일 측면에 따르면, "서버" 속성에 대해, 속성값은 제 1 서버 및 제 2 서버를 포함하고, "결제 대행사" 속성에 대해, 속성값은 제 1 결제 대행사 및 제 2 결제 대행사를 포함하고, "결제 수단" 속성에 대해, 속성값은 현금 결제 및 카드 결제를 포함하고, "접속 채널" 속성에 대해, 속성값은 i) 제 1 언어 및 고정형 디바이스, ii) 제 2 언어 및 고정형 디바이스, iii) 제 1 언어 및 모바일 디바이스 및 iv) 제 2 언어 및 모바일 디바이스를 포함할 수 있으나, 속성 및 속성값은 이에 한정되지 아니한다.
또한, 각각의 속성 및 속성값에 대한 이상치 발생 여부의 판단은 예를 들어 본 발명의 일 실시예에 따른 이상치 발생 여부 결정 방법에 따를 수 있으나, 이에 한정되지 아니하며 임의의 메커니즘에 따른 이상치 발생 여부 결정 방법이 적용될 수 있다.
다시 도 12 를 참조하면, 복수의 시간 구간들에서, 복수의 속성 중 제 1 속성에 대한 속성값 중 어느 하나인 제 1 속성값에 기반하는 이상치 발생 여부 결정이 복수의 속성 중 제 2 속성에 대한 속성값 중 어느 하나인 제 3 속성값에 기반하는 이상치 발생 여부 결정과 일치하는 정도를 기반으로, 제 1 속성값 및 제 3 속성값을 속성값 조합으로 결정 (단계 1220) 할 수 있다. 보다 구체적으로는, 일치하는 정도가 가장 높은 속성값들을 속성값 조합으로 결정할 수 있다. 일치하는 정도가 높은 속성값들은 복수 개 존재할 수 있으며, 예를 들어 앞서 도 8 내지 도 10 에 서 각각 예시한 바와 같은 속성값들의 조합이 결정될 수 있다.
이어서, 결정된 속성값 조합을 대상 변수에 대한 위험 인자로 결정 (단계 1230) 할 수 있고, 이러한 위험 인자는 예를 들어 대상 변수의 실패 원인일 수 있다.
한편, 서로 상이한 속성값들 간의 이상치 발생 여부 결정이 일치하는 정도는 다양한 기준을 통해 결정될 수 있다. 도 13 은 동시발생 건수 기반의 동시발생 지표 산출 결과의 예시도이다. 도 13 에 도시된 바와 같이, 서로 상이한 속성값들 간의 이상치 발생 여부 결정이 일치하는 정도는, 제 1 속성값에 기반하는 이상치 발생 여부 결정이 제 3 속성값에 기반하는 이상치 발생 여부 결정과 일치하는 시간 구간의 개수를 기반으로 산출될 수 있다. 즉, 일치하는 정도를 나타내는 동시발생 지표는 동시 발생 건수를 기준으로 조회될 수 있고, 이 경우 건수를 기준으로 하므로 일치하는 이상치 구간이 많이 발생한 쪽이 우선순위를 가지게 된다.
한편, 도 14 는 정규화된 동시발생 지표 산출 결과의 예시도이다. 도 14 에 도시된 바와 같이, 서로 상이한 속성값들 간의 이상치 발생 여부 결정이 일치하는 정도는, 제 1 속성값에 기반하는 이상치 발생 여부 결정이 제 3 속성값에 기반하는 이상치 발생 여부 결정과 일치하는 시간 구간의 개수, 제 1 속성값에 기반하는 이상치 발생 구간의 개수 및 제 3 속성값에 기반하는 이상치 발생 구간의 개수를 기반으로 산출될 수 있다. 보다 구체적으로는, 일치하는 정도는, 아래의 수학식 4 를 기반으로 정규화되는 것에 의해 결정될 수 있다.
[수학식 4]
(일치하는 정도) = (제 1 속성값에 기반하는 이상치 발생 여부 결정이 제 3 속성값에 기반하는 이상치 발생 여부 결정과 일치하는 시간 구간의 개수) / (제 1 속성값에 기반하는 이상치 발생 구간의 개수 + 제 3 속성값에 기반하는 이상치 발생 구간의 개수) * 2
상기 수학식 4 에 의할 경우, 건수를 이용하여 정규화할 수 있으므로, 더욱 정확한 결과를 도출할 수 있다.
한편, 도 15 는 상관계수 기반의 동시발생 지표 산출 결과의 예시도이다. 도 15 에 도시된 바와 같이, 서로 상이한 속성값들 간의 이상치 발생 여부 결정이 일치하는 정도는, 제 1 속성값에 기반하는 이상치 발생 여부와 제 3 속성값에 기반하는 이상치 발생 여부 사이의 상관 계수를 기반으로 결정될 수도 있다.
도 28 은 본 발명의 일 실시예에 따른 컴퓨팅 디바이스의 예시적인 구성을 나타내는 블록도이다. 도 28 에 도시된 바와 같이, 본 발명의 일 실시예에 따른 컴퓨팅 디바이스 (2800) 는 메모리 (2810), 프로세서 (2820) 를 포함할 수 있다. 또한 송수신부 (2830) 를 포함하여 네트워크 (2840) 를 통해 정보를 송수신하도록 구성될 수 있으며, 송수신을 위한 정보가 메모리 (2810) 에 저장될 수 있고, 프로세서 (2820) 에 실행 가능한 명령어들이 메모리 (2810) 에 저장될 수도 있다.
본 발명의 일 실시예에 따른 컴퓨팅 디바이스는 이상치 발생의 위험 인자 결정을 수행하도록 구성될 수 있으며, 보다 구체적으로 컴퓨팅 디바이스가 성공 상태 또는 실패 상태를 가지는 대상 변수의 시계열에 대한 이상치 발생의 위험 인자를 결정하도록 구성될 때, 프로세서 (2820) 는, 미리 결정된 시간 길이를 가지는 복수의 시간 구간들 각각에 대해, 대상 변수에 대한 복수의 속성 및 상기 속성에 따른 하나 이상의 속성값 마다의 각각의 시간 구간들에서의 이상치 발생 여부를 결정하고, 복수의 시간 구간들에서, 복수의 속성 중 제 1 속성에 대한 속성값 중 어느 하나인 제 1 속성값에 기반하는 이상치 발생 여부 결정이 복수의 속성 중 제 2 속성에 대한 속성값 중 어느 하나인 제 3 속성값에 기반하는 이상치 발생 여부 결정과 일치하는 정도를 기반으로 제 1 속성값 및 제 3 속성값을 속성값 조합으로 결정하고, 그리고 결정된 속성값 조합을 상기 위험 인자로 결정하도록 구성될 수 있다.
본 발명의 일 실시예에 따른 컴퓨팅 디바이스의 구체적인 동작은, 전술한 본 발명의 일 실시예에 따른 성공 상태 또는 실패 상태를 가지는 대상 변수의 시계열에 대한 이상치 발생의 위험 인자를 결정하는 방법에 따라 제어될 수 있다.
이상치 발생의 위험 인자 자동 결정 - 확률 변동 기반
본 발명의 일 실시예에 따른 성공 상태 또는 실패 상태를 가지는 대상 변수의 변수 값 샘플들의 시계열에 대한 이상치 발생의 위험 인자를 결정하는 방법에 따르면, 특정 시간 구간 동안 이상치가 발생한 속성값들을 결정하고, 이상치가 발생한 속성값들의 조합들 각각에 대해 속성 만족 여부에 따른 확률 변동 여부를 기반으로 우선순위를 결정함으로써, 높은 우선순위를 가지는 조합의 속성값의 조합을 이상치 발생에 대한 위험 인자로서 결정할 수 있다. 따라서, 비교적 적은 연산 과정을 통해서도 자동으로 위험 인자를 구체적으로 특정할 수 있다.
도 16 은 본 발명의 일 실시예에 따른 성공 상태 또는 실패 상태를 가지는 대상 변수의 변수 값 샘플들의 시계열에 대한 이상치 발생의 위험 인자를 결정하는 방법의 개략적인 흐름도이다. 또한, 도 17 은 속성값 별 이상치 발생 여부 체크 절차의 예시도, 도 18 은 이상치 발생 속성값들의 조합 구성 절차의 예시도, 도 19 는 실패 확률 변동을 기반으로 하는 우선순위 지표 산출의 예시도, 도 20 은 우선순위 지표를 이용한 우선순위 조합 결정의 예시도, 도 21 은 실패 확률 변동을 기반으로 하는 제 2 우선순위 지표 산출 및 제 2 우선순위 조합 결정의 예시도, 도 22 는 실패 확률 변동 및 설명 지표를 기반으로 하는 제 2 우선순위 지표 산출 및 제 2 우선순위 조합 결정의 예시도, 도 23 은 실패 확률 변동을 기반으로 하는 우선순위 조합 결정 반복의 최종 결과에 대한 예시도, 도 24 는 우선순위 조합들 중 의미있는 조합 결정의 예시도, 도 25 는 우선순위 조합들을 기반으로 하는 위험인자 산출의 예시도, 도 26 은 실패 확률 변동 기반의 우선순위 지표 산출의 예시도이다. 이하, 도 16 내지 도 26 을 참조하여 본 발명의 일 실시예에 따른 성공 상태 또는 실패 상태를 가지는 대상 변수의 변수 값 샘플들의 시계열에 대한 이상치 발생의 위험 인자를 결정하는 방법에 대해서 보다 구체적으로 설명한다.
도 16 에 도시된 바와 같이, 본 발명의 일 실시예에 따른 성공 상태 또는 실패 상태를 가지는 대상 변수의 변수 값 샘플들의 시계열에 대한 이상치 발생의 위험 인자를 결정하는 방법은, 우선, 미리 결정된 시간 길이를 가지는 시간 구간 동안, 대상 변수에 대한 복수의 속성 및 이러한 속성에 따른 하나 이상의 속성값 마다의 이상치 발생 여부를 결정한다 (단계 1610).
본 발명의 일 측면에 따르면, 대상 변수는 온라인 쇼핑몰의 결제 시도의 성공 또는 실패 여부를 나타내는 변수 값들의 시계열을 가지게 되며, "서버" 속성에 대해, 속성값은 제 1 서버 및 제 2 서버를 포함하고, "결제 대행사" 속성에 대해, 속성값은 제 1 결제 대행사 및 제 2 결제 대행사를 포함하고, "결제 수단" 속성에 대해, 속성값은 현금 결제 및 카드 결제를 포함하고, "접속 채널" 속성에 대해, 속성값은 i) 제 1 언어 및 고정형 디바이스, ii) 제 2 언어 및 고정형 디바이스, iii) 제 1 언어 및 모바일 디바이스 및 iv) 제 2 언어 및 모바일 디바이스를 포함할 수 있고, 이상치 발생 여부 결정 (단계 1610) 은 각각의 속성값 마다 개별적으로 이상치 발생 여부를 결정할 수 있다. 여기서, 본 발명의 속성 및 속성값은 위의 예시에 한정되지 아니한다.
다시 도 16 을 참조하면, 복수의 속성 중 제 1 속성에 대한 속성값 중 이상치가 발생한 제 1 속성값과, 복수의 속성 중 제 2 속성에 대한 속성값 중 이상치가 발생한 제 2 속성값을 결정할 수 있다 (단계 1620). 즉, 개별적인 속성값 별 이상치 발생 여부의 판단 결과, 이상치가 발생한 속성값들을 추출할 수 있다. 다만, 각각의 속성별로 복수의 속성값에서 이상치가 발생하는 경우도 가능하다.
도 17 에 예시된 바와 같이, 예를 들어 제 1 속성 내지 제 3 속성에서 각각 하나의 속성값에 대해 이상치가 발생한 것을 검출하는 경우가 가능하다. 도 17 에서는 결제 대행사 (pgname) 의 속성에 대해서 dacom 의 속성값에 대해서 이상치가 발생하였고, 결제 방법 (paymethod) 의 속성에 대해서 카드 (card) 의 속성값에 대해서 이상치가 발생하였으며, 접속 채널 (channel) 의 속성에 대해서 한국어 버전의 스마트폰을 통해 접속 (smartphone_kr) 의 속성값에 대해서 이상치가 발생한 것을 확인할 수 있다.
다시 도 16 을 참조하면, 이상치가 발생한 것으로 확인된 제 1 속성값 및 제 2 속성값으로 구성 가능한 모든 조합들 각각에 대해, 각 조합의 속성값을 만족하는 샘플들을 기반으로 산출된 제 1 실패 확률과 각 조합의 속성값을 만족하지 아니하는 샘플들을 기반으로 산출된 제 2 실패 확률에 기초하여 우선순위 지표를 산출할 수 있다 (단계 1630).
도 18 에 예시된 바와 같이, dacom, card, smartphone_kr 의 속성값에 대해서 이상치 발생이 검출되고, 서버 (server) 의 속성에 대해서는 어떠한 속성값에 대해서도 이상치가 발생하지 아니한 상황에서는 제 1 열 내지 제 8 열에 이르기까지 총 8 개의 속성값 조합을 구성하는 것이 가능하다.
속성값의 조합들이 전부 구성되면, 각각의 속성값 조합들 마다 우선순위 지표의 산출이 수행될 수 있다. 일 측면에 따르면, 우선순위 지표는 속성값 만족 여부에 따른 확률의 변동에 기반하는 지표 (이하, '레버리지'라고도 지칭될 수 있음) 를 통해 결정될 수 있다. 보다 구체적으로, 이상치가 발생한 속성값의 조합들 각각에 대해, (1) 해당 속성값 조합의 속성값을 모두 만족하는 샘플들을 기반으로 산출되는 제 1 실패 확률, 즉 해당조건이 만족된 결제 시도 건의 실패 확률 (prob) 과, (2) 해당 속성값 조합의 속성값을 만족하지 않는 샘플들을 기반으로 산출되는 제 2 실패 확률, 즉 해당 조건에 해당하지 않는 경우의 실패 확률 (probc) 을 산출할 수 있고, 제 1 실패 확률과 제 2 실패 확률을 기반으로 레버리지를 산출할 수 있다. 레버리지는, 일 측면에 따르면 제 1 실패 확률과 제 2 실패 확률의 차이를 기반으로 결정될 수 있으며, 또 다른 측면에 따르면, 제 1 실패 확률과 제 2 실패 확률의 비율을 기반으로 결정될 수 있다.
레버리지가 제 1 실패 확률과 제 2 실패 확률의 차이를 기반으로 결정되는 경우가 도 19 에 예시적으로 도시된다. 예를 들어, 제 2 열의 (dacom, *, *, *) 의 속성값 조합에 대해서는, 해당 속성값 조합의 속성값을 만족하는 결제 시도의 샘플, 즉, 결제 대행사를 dacom 을 사용한 결제 시도들에 대해서, 성공 상태의 개수 (successcount) 938 개와 실패 상태의 개수 (failcount) 340 을 기반으로 제 1 실패 확률 (prob) 을 산출할 수 있으며, 전체 결제 시도 (제 1 열) 의 성공 상태의 개수 4567 개, 실패 상태의 개수 404 개에서 dacom 을 사용한 결제 시도의 성공 상태의 개수 938 개, 실패 상태의 개수 340 개를 뺀 개수를 기반으로 제 2 실패 확률 (probc) 를 산출할 수 있다. 레버리지 (leverage) 는 제 1 실패 확률에서 제 2 실패 확률을 뺀 값으로서 0.24881491 로서 결정될 수 있다. 여기서, 일 측면에 따른 확률 산출은 각각의 개수에 1 개를 더한 값을 사용함으로써 카운트가 0 인 경우의 오류를 방지할 수 있다.
다시 도 16 을 참조하면, 산출된 우선순위 지표를 기반으로 우선순위 조합을 결정 (단계 1640) 할 수 있다. 보다 구체적으로, 복수의 조합들을 레버리지가 큰 순서로 정렬할 수 있으며, 도 19 를 예시로 할 때, pngame = dacom, paymethod = card 인 경우에 그렇지 않은 경우보다 실패 확률이 24.9 % 가 상승하는 것을 확인할 수 있다. 따라서, 이는 유의미한 조합이라고 생각될 수 있으며, 이 조합을 Fix 할 수 있고, 예를 들어 우선순위 조합으로 결정할 수 있다. 도 20 의 예시에서는, 이 조합이 1 회차에서 (iter = 1) 유의미한 조합으로 결정 (done = 1) 되었음을 표시할 수 있다.
한편, 우선순위 지표를 산출함에 있어서, 제 1 속성값 및 제 2 속성값으로 구성 가능한 모든 조합들 각각에 대해, 각각의 조합의 속성값이 포함되지 아니하는 다른 속성들의 속성값들로 구성 가능한 모든 조합의 수를 더 고려하여, 우선순위 지표를 산출하도록 구성될 수도 있다. 즉, 해당 속성값 조합의 속성값을 만족하는 "조합"의 건수가 더 고려될 수 있으며, 도 20 의 제 4 열을 예로 들면, 제 4 열은 (dacom, card, *, *) 의 속성값 조건을 가지는 조합이며, 도 20 에서 count2 열은 이러한 조건에 해당하는 "조합"의 개수를 나타낼 수 있다. 제 4 열은 dacom, card 의 조건을 만족하는 모든 접속채널, 모든 서버의 조합의 개수를 count 값으로서 가질 수 있다. 이러한 조합의 개수가 최적 조합을 선택하는데 더 고려될 수 있다. 예를 들어, 도 20 에서 레버리지 (제 1 실패 확률과 제 2 실패 확률의 차) 를 정의했을 때, 실패 확률이 동일하게 증가 하더라도 보다 많은 수의 케이스를 설명할 수 있는 조합이 선호될 수 있다.
따라서, 우선순위 지표는, 제 1 실패 확률 및 제 2 실패 확률에 기반하는 확률 지표와, 다른 속성들의 속성값들로 구성 가능한 모든 조합의 수에 기반하는 설명 지표에 가중치 결정 계수를 곱한 값의 합을 기반으로 결정될 수 있다. 보다 구체적으로는 아래의 수학식 5 에 따라 우선순위 지표가 결정될 수 있다.
[수학식 5]
leverage = prob - probc + k * count2
단, 여기서 leverage 는 레버리지 또는 우선순위 지표, prob 는 제 1 실패 확률, probc 는 제 2 실패 확률, k 는 가중치 결정 계수, count2 는 해당 조합의 속성값을 만족하는 모든 조합의 수
일 측면에 따르면, k 는 작은 양수, 예를 들어 0.001 과 같이 정의할 수 있으며 k 값을 조정하는 것에 의해 실패 확률이 커지는 폭 (prob-probc) 과, 얼마나 많은 케이스를 설명할 수 있는지 여부 (k * count2) 의 비중을 변경할 수 있다. 즉, 정확성과 일반성의 트레이드 오프 (trade-off) 를 조절할 수 있다. 도 20 의 예시에서는 count2 를 반영하지 않고, 확률의 변경 정도만을 고려하였을 때, dacom, card 의 조합이 1 회차에서 유의미한 조합, 또는 우선순위 조합으로 결정될 수 있다.
다시 도 16 을 참조하면, 우선순위 조합을 결정 (단계 1640) 이후에, 우선순위 조합의 속성값을 만족하는 샘플들을 제외한 나머지 샘플들을 기반으로, 제 1 속성값 및 제 2 속성값으로 구성 가능한 모든 조합들 각각에 대해, 각 조합의 속성값을 만족하는 샘플들을 기반으로 산출된 제 1 실패 확률과 각 조합의 속성값을 만족하지 아니하는 샘플들을 기반으로 산출된 제 2 실패 확률에 기초하여 제 2 우선순위 지표를 산출하고, 제 2 우선순위 지표를 기반으로 제 2 우선순위 조합을 결정할 수 있다. 즉, 1 회차에서의 우선순위 조합의 속성값을 만족하는 샘플들을 제외한 나머지 샘플들을 이용하여, 우선순위 지표 산출 (단계 1630) 및 우선순위 조합 결정 (단계 1640) 을 반복하여, 후순위 조합을 결정할 수 있다.
도 21 에 예시된 바와 같이, 전체 샘플 중에서 전 단계에서 고정된 (done = 1) 유의미한 조합 (pgname = dacom, paymethod = card) 에 해당하는 샘플들은 제외하고, 1 회차와 동일한 계산을 반복할 수 있다. 제 1 열의 경우, "전체" 데이터인데, 1 회차 이전과 비교했을 때 성공 상태의 개수 (successcount) 가 4567 - 931 = 3636 개, 실패 상태의 개수 (failcount) 가 404 - 339 = 65 개가 된 것을 확인할 수 있고, 즉, dacom, card 의 조합만큼 샘플이 계산에서 제외되었을을 알 수 있다.
나머지 샘플들에 대해서 1 회차의 계산을 반복하였을 때, (dacom, card, smartphone_kr, *) 의 조합에 대해서는 1 회차에서 이미 dacom, card 를 만족하는 샘플들을 전부 제외하였으므로 2 회차에서는 0 개의 샘플을 가지게 되어 계산에서 제외되었으므로, 이런 경우는 우선순위 결정에 있어서 배제할 수 있다. 즉, 일 측면에 따르면, 제 2 우선순위 지표를 산출함에 있어서, 우선순위 조합의 속성값을 만족하는 샘플들을 제외하여 샘플의 개수가 0 이 된 조합을 제외한 나머지 조합들 각각에 대해 상기 제 2 우선순위 지표를 산출하도록 구성될 수 있다.
샘플이 0 인 건을 제외하고, 고정되지 않은 (done = 0) 건들 중 가장 큰 레버리지를 가지는 건을 찾으면, 도 21 에서 (dacom, *, smartphone_kr, *) 의 조합이 채택될 수 있다 (2회차 (iter = 2) 에서 선택된 건 (done = 1) 로 표시될 수 있음). 다만, (dacom, *, smartphone_kr, *) 의 조합은 count, 즉 구성 가능한 조합이 2 건밖에 해당하지 않으므로 설명령이 낮다고 판단될 수도 있다. 만약, 앞서 언급한 바와 같은 수학식 5 를 적용하고, k 값을 0.001 을 적용할 경우에는 확률의 증가는 작지만 보다 많은 케이스를 설명할 수 있는 제 3 열의 조합 (card) 이 선택될 수 있고, 이는 도 22 에 예시적으로 도시되어 있다.
도 19, 20 및 21 에서와 같이 k = 0 을 사용하여 반복적으로 우선순위 지표 산출 및 우선순위 조합 결정을 수행하면, 도 23 과 같은 결과가 도출될 수 있다. 계산이 완료된 시점에서 보면 pgname = dacom, paymethod = card 인 경우가 272 개의 조합을 설명하며, 이 다음으로 많은 건은 제 6 열, 제 2 열 순이다. 제 1 열을 경우 "나머지 전체"를 의미하며, 제 1 열이 선택되는 상황은 "나머지 건은 더 나누어도 더 이상 정확하게 특정되지 않는다"는 것을 의미할 수 있다.
따라서, 본 발명의 일 측면에 따르면, 제 2 우선순위 조합을 결정한 이후, 제 2 우선순위 조합이 제 1 속성값 및 제 2 속성값 양쪽 모두를 포함하지 않는 조합 이외의 조합들 중 어느 하나로 결정되는 것에 응답 (단계 1650) 하여, 제 n 우선 순위 지표 산출 및 제 n 우선순위 조합 결정을 수행하도록 할 수 있다. 즉, 반복 회차에서의 우선순위 조합이, 제 1 속성값 및 제 2 속성값 양쪽 모두를 포함하지 않는, "전체 샘플"의 조합으로 결정되는 경우에는 해당 조합은 우선순위 조합의 리스트에 포함시키지 않고, 우선순위 지표 산출 및 조합 결정의 반복을 종료할 수 있다.
도 23 에서 의미있는 조합을 구하면 제 1 열은 전체이므로 제외하고, done = 1 인건을 추출할 수 있다. 따라서, 도 24 에 도시된 바와 같이, 제 2 열, 제 4 열, 제 6 열의 조합이 의미 있는 조합이 될 수 있고, iter 의 값을 확인하면 제 1 우선순위의 조합은 제 4 열의 조합, 제 2 우선 순위의 조합은 제 6 열의 조합, 제 3 우선 순위의 조합은 제 2 열의 조합임을 확인할 수 있다.
다시 도 16 을 참조하면, 제 1 우선순위 조합 또는 제 2 우선순위 조합 중 적어도 하나의 조합의 속성값을 이상치 발생에 대한 위험 인자로 결정할 수 있다 (단계 1650). 즉, 우선순위 조합들로 결정된 속성값 조합들 중, 적어도 하나의 속성값 또는 속성값으 조합을 대상 변수의 시계열에 대한 이상치 발생에 대한 위험 인자로 결정할 수 있다. 이러한 위험 인자가 실패의 원인이 되는 속성을 나타낼 수도 있다. 도 25 에 예시된 바와 같이, 적절한 기준 (예를 들어, 실패 횟수 > 0, leverrage > 0.1) 에 의해 해당되는 조건들을 추출할 수도 있으며, 따라서, 주요 팩터 셋은 dacom, card 의 속성값 조합, 그리고 dacom 의 속성값으로 추출될 수 있다.
한편, 앞서 살핀 바와 같이 실패 확률의 변동 뿐만 아니라 조합들의 개수인 설명 지표를 더 반영하여 우선순위를 결정할 수 있다. 도 26 의 예시에서, 가장 레버리지가 높은 건은 pgname = dacom, paymethod = card 이며 이 때의 leverage 는 0.2494, 그리고 이 조합에 해당하는 결제 시도의 속성값의 조합의 건수 (count) 는 272 개이다. 그런데, 두 번째로 레버리지가 높은 pgname = dacom, paymethod = * 의 경우 leverage 는 약간 낮지만 (0.2488), 더 많은 케이스 (count = 282) 를 설명할 수 있다. 따라서, 단순히 레버리지만을 가지고 우선순위를 결정하지 않고, 레버리지와 설명 건수를 연계하여 우선 순위를 정할 수 있다. 이는 (우선순위 = 레버리지 + k*설명건수, k 는 일정한 상수) 와 같이 표시될 수 있다. 레버리지만을 기준으로 할 경우 k = 0 에 해당하며, 조합의 수가 더 많아진다. 도 27 은 가중 계수 변동에 따른 실패 확률 변동 및 설명 지표 기반 우선순위 산출의 변화를 구체적으로 나타낸다.
도 28 은 본 발명의 일 실시예에 따른 컴퓨팅 디바이스의 예시적인 구성을 나타내는 블록도이다. 도 28 에 도시된 바와 같이, 본 발명의 일 실시예에 따른 컴퓨팅 디바이스 (2800) 는 메모리 (2810), 프로세서 (2820) 를 포함할 수 있다. 또한 송수신부 (2830) 를 포함하여 네트워크 (2840) 를 통해 정보를 송수신하도록 구성될 수 있으며, 송수신을 위한 정보가 메모리 (2810) 에 저장될 수 있고, 프로세서 (2820) 에 실행 가능한 명령어들이 메모리 (2810) 에 저장될 수도 있다.
본 발명의 일 실시예에 따른 컴퓨팅 디바이스는 이상치 발생의 위험 인자 결정을 수행하도록 구성될 수 있으며, 보다 구체적으로 컴퓨팅 디바이스가 성공 상태 또는 실패 상태를 가지는 대상 변수의 변수 값 샘플들의 시계열에 대한 이상치 발생의 위험 인자를 결정하도록 구성될 때, 프로세서 (2820) 는, 미리 결정된 시간 길이를 가지는 시간 구간 동안, 대상 변수에 대한 복수의 속성 및 이와 같은 속성에 따른 하나 이상의 속성값 마다의 이상치 발생 여부를 결정하고, 복수의 속성 중 제 1 속성에 대한 속성값 중 이상치가 발생한 제 1 속성값과, 복수의 속성 중 제 2 속성에 대한 속성값 중 이상치가 발생한 제 2 속성값을 결정하고, 제 1 속성값 및 제 2 속성값으로 구성 가능한 모든 조합들 각각에 대해, 각 조합의 속성값을 만족하는 샘플들을 기반으로 산출된 제 1 실패 확률과 각 조합의 속성값을 만족하지 아니하는 샘플들을 기반으로 산출된 제 2 실패 확률에 기초하여 우선순위 지표를 산출하고, 그리고 우선순위 지표를 기반으로 우선순위 조합을 결정하도록 구성될 수 있다.
본 발명의 일 실시예에 따른 컴퓨팅 디바이스의 구체적인 동작은, 전술한 본 발명의 일 실시예에 따른 성공 상태 또는 실패 상태를 가지는 대상 변수의 변수 값 샘플들의 시계열에 대한 이상치 발생의 위험 인자를 결정하는 방법에 따라 제어될 수 있다.
상술한 본 발명에 따른 방법은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현되는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체로는 컴퓨터 시스템에 의하여 해독될 수 있는 데이터가 저장된 모든 종류의 기록 매체를 포함한다. 예를 들어, ROM(Read Only Memory), RAM(Random Access Memory), 자기 테이프, 자기 디스크, 플래시 메모리, 광 데이터 저장장치 등이 있을 수 있다. 또한, 컴퓨터로 판독 가능한 기록매체는 컴퓨터 통신망으로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 읽을 수 있는 코드로서 저장되고 실행될 수 있다.
이상, 도면 및 실시예를 참조하여 설명하였지만, 본 발명의 보호범위가 상기 도면 또는 실시예에 의해 한정되는 것을 의미하지는 않으며 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
구체적으로, 설명된 특징들은 디지털 전자 회로, 또는 컴퓨터 하드웨어, 펌웨어, 또는 그들의 조합들 내에서 실행될 수 있다. 특징들은 예컨대, 프로그래밍 가능한 프로세서에 의한 실행을 위해, 기계 판독 가능한 저장 디바이스 내의 저장장치 내에서 구현되는 컴퓨터 프로그램 제품에서 실행될 수 있다. 그리고 특징들은 입력 데이터 상에서 동작하고 출력을 생성함으로써 설명된 실시예들의 함수들을 수행하기 위한 지시어들의 프로그램을 실행하는 프로그래밍 가능한 프로세서에 의해 수행될 수 있다. 설명된 특징들은, 데이터 저장 시스템으로부터 데이터 및 지시어들을 수신하기 위해, 및 데이터 저장 시스템으로 데이터 및 지시어들을 전송하기 위해 결합된 적어도 하나의 프로그래밍 가능한 프로세서, 적어도 하나의 입력 디바이스, 및 적어도 하나의 출력 디바이스를 포함하는 프로그래밍 가능한 시스템 상에서 실행될 수 있는 하나 이상의 컴퓨터 프로그램들 내에서 실행될 수 있다. 컴퓨터 프로그램은 소정 결과에 대해 특정 동작을 수행하기 위해 컴퓨터 내에서 직접 또는 간접적으로 사용될 수 있는 지시어들의 집합을 포함한다. 컴퓨터 프로그램은 컴파일된 또는 해석된 언어들을 포함하는 프로그래밍 언어 중 어느 형태로 쓰여지고, 모듈, 소자, 서브루틴(subroutine), 또는 다른 컴퓨터 환경에서 사용을 위해 적합한 다른 유닛으로서, 또는 독립 조작 가능한 프로그램으로서 포함하는 어느 형태로도 사용될 수 있다.
지시어들의 프로그램의 실행을 위한 적합한 프로세서들은, 예를 들어, 범용 및 특수 용도 마이크로프로세서들 둘 모두, 및 단독 프로세서 또는 다른 종류의 컴퓨터의 다중 프로세서들 중 하나를 포함한다. 또한 설명된 특징들을 구현하는 컴퓨터 프로그램 지시어들 및 데이터를 구현하기 적합한 저장 디바이스들은 예컨대, EPROM, EEPROM, 및 플래쉬 메모리 디바이스들과 같은 반도체 메모리 디바이스들, 내부 하드 디스크들 및 제거 가능한 디스크들과 같은 자기 디바이스들, 광자기 디스크들 및 CD-ROM 및 DVD-ROM 디스크들을 포함하는 비휘발성 메모리의 모든 형태들을 포함한다. 프로세서 및 메모리는 ASIC들(application-specific integrated circuits) 내에서 통합되거나 또는 ASIC들에 의해 추가되어질 수 있다.
이상에서 설명한 본 발명은 일련의 기능 블록들을 기초로 설명되고 있지만, 전술한 실시 예 및 첨부된 도면에 의해 한정되는 것이 아니고, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경 가능하다는 것이 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어 명백할 것이다.
전술한 실시 예들의 조합은 전술한 실시 예에 한정되는 것이 아니며, 구현 및/또는 필요에 따라 전술한 실시예들 뿐 아니라 다양한 형태의 조합이 제공될 수 있다.
전술한 실시 예들에서, 방법들은 일련의 단계 또는 블록으로서 순서도를 기초로 설명되고 있으나, 본 발명은 단계들의 순서에 한정되는 것은 아니며, 어떤 단계는 상술한 바와 다른 단계와 다른 순서로 또는 동시에 발생할 수 있다. 또한, 당해 기술 분야에서 통상의 지식을 가진 자라면 순서도에 나타난 단계들이 배타적이지 않고, 다른 단계가 포함되거나, 순서도의 하나 또는 그 이상의 단계가 본 발명의 범위에 영향을 미치지 않고 삭제될 수 있음을 이해할 수 있을 것이다.
전술한 실시 예는 다양한 양태의 예시들을 포함한다. 다양한 양태들을 나타내기 위한 모든 가능한 조합을 기술할 수는 없지만, 해당 기술 분야의 통상의 지식을 가진 자는 다른 조합이 가능함을 인식할 수 있을 것이다. 따라서, 본 발명은 이하의 특허청구범위 내에 속하는 모든 다른 교체, 수정 및 변경을 포함한다고 할 것이다.

Claims (27)

  1. 프로세서 및 메모리를 포함하는 컴퓨팅 디바이스에 의해 수행되는, 성공 상태 또는 실패 상태를 가지는 대상 변수의 시계열에 대한 이상치 발생 여부를 속성별로 시각화하는 방법으로서,
    미리 결정된 시간 길이를 가지는 복수의 시간 구간들 각각에 대해, 상기 대상 변수에 대한 복수의 속성 및 상기 속성에 따른 하나 이상의 속성값 마다의 각각의 시간 구간들에서의 이상치 발생 여부를 결정하는 단계; 및
    상기 복수의 시간 구간들 각각에 대한 각각의 속성 및 속성값 마다의 이상치 발생 여부를 표시부로 출력하는 단계를 포함하는, 이상치 발생 여부를 속성별로 시각화하는 방법.
  2. 제 1 항에 있어서,
    상기 대상 변수는 적어도 하나의 온라인 쇼핑몰에서의 결제 시도에 대한 성공 또는 실패 여부를 나타내는, 이상치 발생 여부를 속성별로 시각화하는 방법.
  3. 제 2 항에 있어서,
    상기 속성은 서버, 결제 대행사 (Payment Gateway), 결제 수단 및 접속 채널 중 적어도 하나를 포함하는, 이상치 발생 여부를 속성별로 시각화하는 방법.
  4. 제 3 항에 있어서,
    상기 서버 속성에 대해, 상기 속성값은 제 1 서버 및 제 2 서버를 포함하고,
    상기 결제 대행사 속성에 대해, 상기 속성값은 제 1 결제 대행사 및 제 2 결제 대행사를 포함하고,
    상기 결제 수단 속성에 대해, 상기 속성값은 현금 결제 및 카드 결제를 포함하고,
    상기 접속 채널 속성에 대해, 상기 속성값은 i) 제 1 언어 및 고정형 디바이스, ii) 제 2 언어 및 고정형 디바이스, iii) 제 1 언어 및 모바일 디바이스 및 iv) 제 2 언어 및 모바일 디바이스를 포함하는, 이상치 발생 여부를 속성별로 시각화하는 방법.
  5. 제 1 항에 있어서,
    상기 이상치 발생 여부를 결정하는 단계는,
    상기 복수의 시간 구간들 각각에 대해,
    상기 복수의 속성들 중 제 1 속성에 따른 제 1 속성값에 대응하는 변수값들을 기반으로 이상치 발생 여부를 결정하는 단계;
    상기 복수의 속성들 중 제 1 속성에 따른 제 2 속성값에 대응하는 변수값들을 기반으로 이상치 발생 여부를 결정하는 단계;
    상기 복수의 속성들 중 제 2 속성에 따른 제 3 속성값에 대응하는 변수값들을 기반으로 이상치 발생 여부를 결정하는 단계; 및
    상기 복수의 속성들 중 제 2 속성에 따른 제 4 속성값에 대응하는 변수값들을 기반으로 이상치 발생 여부를 결정하는 단계를 포함하는, 이상치 발생 여부를 속성별로 시각화하는 방법.
  6. 제 1 항에 있어서,
    상기 출력하는 단계는,
    상기 복수의 시간 구간들 각각에 대해,
    상기 복수의 속성들 중 제 1 속성에 따른 제 1 속성값에 대응하는 변수값들을 기반으로 결정된 제 1 속성값 기반 이상치 발생 여부를 출력하는 단계;
    상기 복수의 속성들 중 제 1 속성에 따른 제 2 속성값에 대응하는 변수값들을 기반으로 결정된 제 2 속성값 기반 이상치 발생 여부를 출력하는 단계;
    상기 복수의 속성들 중 제 2 속성에 따른 제 3 속성값에 대응하는 변수값들을 기반으로 결정된 제 3 속성값 기반 이상치 발생 여부를 출력하는 단계; 및
    상기 복수의 속성들 중 제 2 속성에 따른 제 4 속성값에 대응하는 변수값들을 기반으로 결정된 제 4 속성값 기반 이상치 발생 여부를 출력하는 단계를 포함하는, 이상치 발생 여부를 속성별로 시각화하는 방법.
  7. 제 6 항에 있어서,
    상기 제 1 속성값 기반 이상치 발생 여부를 출력하는 단계 및 제 2 속성값 기반 이상치 발생 여부를 출력하는 단계는, 동일 화면에 상기 제 1 속성값 기반 이상치 발생 여부 및 제 2 속성값 기반 이상치 발생 여부를 출력하도록 구성되고,
    상기 제 3 속성값 기반 이상치 발생 여부를 출력하는 단계 및 제 4 속성값 기반 이상치 발생 여부를 출력하는 단계는, 상기 제 1 속성값 기반 이상치 발생 여부 및 제 2 속성값 기반 이상치 발생 여부의 표시 이후에, 동일 화면에 상기 제 3 속성값 기반 이상치 발생 여부 및 제 4 속성값 기반 이상치 발생 여부를 출력하도록 구성되는, 이상치 발생 여부를 속성별로 시각화하는 방법.
  8. 제 6 항에 있어서,
    상기 제 1 속성값 기반 이상치 발생 여부를 출력하는 단계, 제 2 속성값 기반 이상치 발생 여부를 출력하는 단계, 제 3 속성값 기반 이상치 발생 여부를 출력하는 단계 및 제 4 속성값 기반 이상치 발생 여부를 출력하는 단계는 동일 화면에 이상치 발생 여부를 전부 출력하도록 구성되는, 이상치 발생 여부를 속성별로 시각화하는 방법.
  9. 제 6 항에 있어서,
    상기 제 1 속성값 기반 이상치 발생 여부를 출력하는 단계는, 미리 결정된 개수의 상기 시간 구간들을 포함하는 기준 시간 구간 동안의 상기 제 1 속성값을 기반으로 결정된 이상치 발생 시간 구간의 개수가 미리 결정된 임계값보다 더 많다는 결정에 응답하여 상기 제 1 속성값 기반 이상치 발생 여부를 출력하도록 구성되는, 이상치 발생 여부를 속성별로 시각화하는 방법.
  10. 제 1 항에 있어서,
    상기 출력하는 단계는,
    상기 이상치가 발생한 것으로 결정된 시간 구간을 제 1 표시 형식으로 표시하고 이상치가 발생하지 아니한 것으로 결정된 시간 구간을 상기 제 1 표시 형식과 시각적으로 구별되는 제 2 표시 형식으로 표시하도록 구성되는, 이상치 발생 여부를 속성별로 시각화하는 방법.
  11. 제 10 항에 있어서,
    상기 제 1 표시 형식과 상기 제 2 표시 형식은 상이한 색상으로 표시되고, 상기 제 2 표시 형식은 이상치 발생의 정도에 따라 명도가 변화하도록 구성되는, 이상치 발생 여부를 속성별로 시각화하는 방법.
  12. 제 10 항에 있어서,
    상기 출력하는 단계는,
    동일 시간 구간에 대해, 상기 복수의 속성 중 제 1 속성에 대한 속성값 중 어느 하나인 제 1 속성값에 기반하는 이상치 발생 여부 결정이 상기 복수의 속성 중 제 2 속성에 대한 속성값 중 어느 하나인 제 3 속성값에 기반하는 이상치 발생 여부 결정과 동일하다는 결정에 응답하여, 상기 제 1 속성값에 기반하는 이상치 발생 시간 구간의 표시 및 상기 제 3 속성값에 기반하는 이상치 발생 시간 구간의 표시를 상기 제 1 표시 형식 및 상기 제 2 표시 형식과 시각적으로 구별되는 제 3 표시 형식으로 표시하도록 구성되는, 이상치 발생 여부를 속성별로 시각화하는 방법.
  13. 제 12 항에 있어서,
    상기 출력하는 단계는,
    상기 제 1 속성값 및 상기 제 2 속성값의 조합을 상기 대상 변수의 실패 원인으로서 사용자에게 인식시키도록 상기 제 3 표시 형식으로 표시하도록 구성되는 것인, 이상치 발생 여부를 속성별로 시각화하는 방법.
  14. 프로세서 및 메모리를 포함하는 컴퓨팅 디바이스로서,
    상기 컴퓨팅 디바이스는 성공 상태 또는 실패 상태를 가지는 대상 변수의 시계열에 대한 이상치 발생 여부를 속성별로 시각화하도록 구성되고,
    상기 프로세서는,
    미리 결정된 시간 길이를 가지는 복수의 시간 구간들 각각에 대해, 상기 대상 변수에 대한 복수의 속성 및 상기 속성에 따른 하나 이상의 속성값 마다의 각각의 시간 구간들에서의 이상치 발생 여부를 결정하고; 그리고
    상기 복수의 시간 구간들 각각에 대한 각각의 속성 및 속성값 마다의 이상치 발생 여부를 표시부로 출력하도록 구성되는, 컴퓨팅 디바이스.
  15. 제 14 항에 있어서,
    상기 대상 변수는 적어도 하나의 온라인 쇼핑몰에서의 결제 시도에 대한 성공 또는 실패 여부를 나타내는, 컴퓨팅 디바이스.
  16. 제 15 항에 있어서,
    상기 속성은 서버, 결제 대행사 (Payment Gateway), 결제 수단 및 접속 채널 중 적어도 하나를 포함하는, 컴퓨팅 디바이스.
  17. 제 16 항에 있어서,
    상기 서버 속성에 대해, 상기 속성값은 제 1 서버 및 제 2 서버를 포함하고,
    상기 결제 대행사 속성에 대해, 상기 속성값은 제 1 결제 대행사 및 제 2 결제 대행사를 포함하고,
    상기 결제 수단 속성에 대해, 상기 속성값은 현금 결제 및 카드 결제를 포함하고,
    상기 접속 채널 속성에 대해, 상기 속성값은 i) 제 1 언어 및 고정형 디바이스, ii) 제 2 언어 및 고정형 디바이스, iii) 제 1 언어 및 모바일 디바이스 및 iv) 제 2 언어 및 모바일 디바이스를 포함하는, 컴퓨팅 디바이스.
  18. 제 14 항에 있어서,
    상기 이상치 발생 여부를 결정하는 것은,
    상기 복수의 시간 구간들 각각에 대해,
    상기 복수의 속성들 중 제 1 속성에 따른 제 1 속성값에 대응하는 변수값들을 기반으로 이상치 발생 여부를 결정하는 것;
    상기 복수의 속성들 중 제 1 속성에 따른 제 2 속성값에 대응하는 변수값들을 기반으로 이상치 발생 여부를 결정하는 것;
    상기 복수의 속성들 중 제 2 속성에 따른 제 3 속성값에 대응하는 변수값들을 기반으로 이상치 발생 여부를 결정하는 것; 및
    상기 복수의 속성들 중 제 2 속성에 따른 제 4 속성값에 대응하는 변수값들을 기반으로 이상치 발생 여부를 결정하는 것을 포함하는, 컴퓨팅 디바이스.
  19. 제 14 항에 있어서,
    상기 출력하는 것은,
    상기 복수의 시간 구간들 각각에 대해,
    상기 복수의 속성들 중 제 1 속성에 따른 제 1 속성값에 대응하는 변수값들을 기반으로 결정된 제 1 속성값 기반 이상치 발생 여부를 출력하는 것;
    상기 복수의 속성들 중 제 1 속성에 따른 제 2 속성값에 대응하는 변수값들을 기반으로 결정된 제 2 속성값 기반 이상치 발생 여부를 출력하는 것;
    상기 복수의 속성들 중 제 2 속성에 따른 제 3 속성값에 대응하는 변수값들을 기반으로 결정된 제 3 속성값 기반 이상치 발생 여부를 출력하는 것; 및
    상기 복수의 속성들 중 제 2 속성에 따른 제 4 속성값에 대응하는 변수값들을 기반으로 결정된 제 4 속성값 기반 이상치 발생 여부를 출력하는 것을 포함하는, 컴퓨팅 디바이스.
  20. 제 19 항에 있어서,
    상기 제 1 속성값 기반 이상치 발생 여부를 출력하는 것 및 제 2 속성값 기반 이상치 발생 여부를 출력하는 것은, 동일 화면에 상기 제 1 속성값 기반 이상치 발생 여부 및 제 2 속성값 기반 이상치 발생 여부를 출력하도록 구성되고,
    상기 제 3 속성값 기반 이상치 발생 여부를 출력하는 것 및 제 4 속성값 기반 이상치 발생 여부를 출력하는 것은, 상기 제 1 속성값 기반 이상치 발생 여부 및 제 2 속성값 기반 이상치 발생 여부의 표시 이후에, 동일 화면에 상기 제 3 속성값 기반 이상치 발생 여부 및 제 4 속성값 기반 이상치 발생 여부를 출력하도록 구성되는, 컴퓨팅 디바이스.
  21. 제 19 항에 있어서,
    상기 제 1 속성값 기반 이상치 발생 여부를 출력하는 것, 제 2 속성값 기반 이상치 발생 여부를 출력하는 것, 제 3 속성값 기반 이상치 발생 여부를 출력하는 것 및 제 4 속성값 기반 이상치 발생 여부를 출력하는 것은 동일 화면에 이상치 발생 여부를 전부 출력하도록 구성되는, 컴퓨팅 디바이스.
  22. 제 19 항에 있어서,
    상기 제 1 속성값 기반 이상치 발생 여부를 출력하는 것은, 미리 결정된 개수의 상기 시간 구간들을 포함하는 기준 시간 구간 동안의 상기 제 1 속성값을 기반으로 결정된 이상치 발생 시간 구간의 개수가 미리 결정된 임계값보다 더 많다는 결정에 응답하여 상기 제 1 속성값 기반 이상치 발생 여부를 출력하도록 구성되는, 컴퓨팅 디바이스.
  23. 제 14 항에 있어서,
    상기 출력하는 것은,
    상기 이상치가 발생한 것으로 결정된 시간 구간을 제 1 표시 형식으로 표시하고 이상치가 발생하지 아니한 것으로 결정된 시간 구간을 상기 제 1 표시 형식과 시각적으로 구별되는 제 2 표시 형식으로 표시하도록 구성되는, 컴퓨팅 디바이스.
  24. 제 23 항에 있어서,
    상기 제 1 표시 형식과 상기 제 2 표시 형식은 상이한 색상으로 표시되고, 상기 제 2 표시 형식은 이상치 발생의 정도에 따라 명도가 변화하도록 구성되는, 컴퓨팅 디바이스.
  25. 제 23 항에 있어서,
    상기 출력하는 것은,
    동일 시간 구간에 대해, 상기 복수의 속성 중 제 1 속성에 대한 속성값 중 어느 하나인 제 1 속성값에 기반하는 이상치 발생 여부 결정이 상기 복수의 속성 중 제 2 속성에 대한 속성값 중 어느 하나인 제 3 속성값에 기반하는 이상치 발생 여부 결정과 동일하다는 결정에 응답하여, 상기 제 1 속성값에 기반하는 이상치 발생 시간 구간의 표시 및 상기 제 3 속성값에 기반하는 이상치 발생 시간 구간의 표시를 상기 제 1 표시 형식 및 상기 제 2 표시 형식과 시각적으로 구별되는 제 3 표시 형식으로 표시하도록 구성되는, 컴퓨팅 디바이스.
  26. 제 25 항에 있어서,
    상기 출력하는 것은,
    상기 제 1 속성값 및 상기 제 2 속성값의 조합을 상기 대상 변수의 실패 원인으로서 사용자에게 인식시키도록 상기 제 3 표시 형식으로 표시하도록 구성되는 것인, 컴퓨팅 디바이스.
  27. 성공 상태 또는 실패 상태를 가지는 대상 변수의 시계열에 대한 이상치 발생 여부를 속성별로 시각화하기 위한, 프로세서 실행 가능한 명령어들을 포함하는 컴퓨터 판독 가능한 저장 매체로서,
    상기 명령어들은 상기 프로세서에 의해 실행되었을 때 상기 프로세서로 하여금,
    미리 결정된 시간 길이를 가지는 복수의 시간 구간들 각각에 대해, 상기 대상 변수에 대한 복수의 속성 및 상기 속성에 따른 하나 이상의 속성값 마다의 각각의 시간 구간들에서의 이상치 발생 여부를 결정하고; 그리고
    상기 복수의 시간 구간들 각각에 대한 각각의 속성 및 속성값 마다의 이상치 발생 여부를 표시부로 출력하게 하도록 구성되는, 컴퓨터 판독 가능한 저장 매체.
KR1020190060176A 2019-05-22 2019-05-22 이상치 발생 여부를 속성별로 시각화하는 방법, 컴퓨팅 디바이스 및 컴퓨터 판독 가능한 저장 매체 KR102245718B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190060176A KR102245718B1 (ko) 2019-05-22 2019-05-22 이상치 발생 여부를 속성별로 시각화하는 방법, 컴퓨팅 디바이스 및 컴퓨터 판독 가능한 저장 매체

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190060176A KR102245718B1 (ko) 2019-05-22 2019-05-22 이상치 발생 여부를 속성별로 시각화하는 방법, 컴퓨팅 디바이스 및 컴퓨터 판독 가능한 저장 매체

Publications (2)

Publication Number Publication Date
KR20200134561A true KR20200134561A (ko) 2020-12-02
KR102245718B1 KR102245718B1 (ko) 2021-04-28

Family

ID=73791685

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190060176A KR102245718B1 (ko) 2019-05-22 2019-05-22 이상치 발생 여부를 속성별로 시각화하는 방법, 컴퓨팅 디바이스 및 컴퓨터 판독 가능한 저장 매체

Country Status (1)

Country Link
KR (1) KR102245718B1 (ko)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013010155A (ja) * 2011-06-28 2013-01-17 Canon Inc 対象物把持装置、対象物把持装置の制御方法、およびプログラム
KR20130107889A (ko) 2012-03-23 2013-10-02 삼성전자주식회사 이상 서브시퀀스 검출 장치 및 방법
JP2015022657A (ja) * 2013-07-22 2015-02-02 株式会社エヌ・ティ・ティ・データ 支払不能情報処理装置および支払不能情報処理方法
KR20170037950A (ko) * 2014-07-31 2017-04-05 알리바바 그룹 홀딩 리미티드 네트워크 지불을 제어하는 방법 및 장치
KR20180046277A (ko) * 2016-10-27 2018-05-08 삼성에스디에스 주식회사 데이터 모니터링 시스템 및 방법
KR20180078296A (ko) * 2015-11-03 2018-07-09 알리바바 그룹 홀딩 리미티드 서비스 호출 정보 처리 방법 및 디바이스

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013010155A (ja) * 2011-06-28 2013-01-17 Canon Inc 対象物把持装置、対象物把持装置の制御方法、およびプログラム
KR20130107889A (ko) 2012-03-23 2013-10-02 삼성전자주식회사 이상 서브시퀀스 검출 장치 및 방법
JP2015022657A (ja) * 2013-07-22 2015-02-02 株式会社エヌ・ティ・ティ・データ 支払不能情報処理装置および支払不能情報処理方法
KR20170037950A (ko) * 2014-07-31 2017-04-05 알리바바 그룹 홀딩 리미티드 네트워크 지불을 제어하는 방법 및 장치
KR20180078296A (ko) * 2015-11-03 2018-07-09 알리바바 그룹 홀딩 리미티드 서비스 호출 정보 처리 방법 및 디바이스
KR20180046277A (ko) * 2016-10-27 2018-05-08 삼성에스디에스 주식회사 데이터 모니터링 시스템 및 방법

Also Published As

Publication number Publication date
KR102245718B1 (ko) 2021-04-28

Similar Documents

Publication Publication Date Title
Szarka III et al. A review and perspective on surveillance of Bernoulli processes
Han et al. Evaluation mechanism for structural robustness of supply chain considering disruption propagation
US9710257B2 (en) System and method to map defect reduction data to organizational maturity profiles for defect projection modeling
US9389946B2 (en) Operation management apparatus, operation management method, and program
Ali Time‐between‐events control charts for an exponentiated class of distributions of the renewal process
Xiang et al. n Subpopulations experiencing stochastic degradation: reliability modeling, burn-in, and preventive replacement optimization
Chatterjee et al. A unified approach of testing coverage‐based software reliability growth modelling with fault detection probability, imperfect debugging, and change point
CN109428647B (zh) 实现故障原因定位的方法、装置及存储介质
Borgonovo A methodology for determining interactions in probabilistic safety assessment models by varying one parameter at a time
KR20200134560A (ko) 이상치 발생 여부 검출 방법, 컴퓨팅 디바이스 및 컴퓨터 판독 가능한 저장 매체
JPWO2019116418A1 (ja) 障害分析装置、障害分析方法および障害分析プログラム
KR20200134562A (ko) 이상치 발생의 위험 인자 결정 방법, 컴퓨팅 디바이스 및 컴퓨터 판독 가능한 저장 매체
CN112769615B (zh) 一种异常分析方法及装置
CN105447707B (zh) 数据处理方法及装置
KR102245718B1 (ko) 이상치 발생 여부를 속성별로 시각화하는 방법, 컴퓨팅 디바이스 및 컴퓨터 판독 가능한 저장 매체
Olekh et al. Elaboration of a Markov odel of Project Success
Chung et al. Fault classification and timing prediction based on shipment inspection data and maintenance reports for semiconductor manufacturing equipment
US11790249B1 (en) Automatically evaluating application architecture through architecture-as-code
EP3631637B1 (en) System, device and method for frozen period detection in sensor datasets
JP2022037107A (ja) 障害分析装置、障害分析方法および障害分析プログラム
US20230152141A1 (en) System and method for management of an asset
US20230169051A1 (en) Systems and methods for monitoring data quality issues in non-native data over disparate computer networks
KR101088054B1 (ko) 전문 기반 통신 시스템을 테스트하는 시스템 및 방법
CN117035476A (zh) 模型质量检测方法、装置、设备、介质及程序产品
Haq et al. A misuse of the EWMA‐type statistic in acceptance sampling applications

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant