KR20230174196A - 이상징후 관리가 가능한 에이비 테스트 제공방법, 서버 및 컴퓨터프로그램 - Google Patents

Abstract

이상징후 관리가 가능한 에이비 테스트 제공방법, 서버 및 컴퓨터프로그램이 제공된다. 본 발명의 다양한 실시예에 따른 이상징후 관리가 가능한 에이비 테스트 제공방법은, 컴퓨팅 장치에 의해 수행되는 방법에 있어서, 제1 서비스와 제2 서비스에 대한 에이비 테스트(A/B Test)를 생성하는 단계, 복수의 사용자가 상기 생성된 에이비 테스트를 통해 상기 제1 서비스 또는 상기 제2 서비스를 이용함에 따라 생성되는 인풋 데이터를 수집하는 단계 및 상기 수집된 인풋 데이터를 이용하여 상기 에이비 테스트에 대한 결과를 도출하는 단계를 포함한다.

Description

이상징후 관리가 가능한 에이비 테스트 제공방법, 서버 및 컴퓨터프로그램{METHOD, SERVER AND COMPUTER PROGRAM FOR PROVIDING A/B TESTING THAT CAN MANAGE ABNORMAL SYMPTOMS}

본 발명의 다양한 실시예는 이상징후 관리가 가능한 에이비 테스트 제공방법, 서버 및 컴퓨터프로그램에 관한 것이다.

에이비 테스트(A/B test)는 기존의 버전(A)과 새로운 버전(B, C 등)을 비교하여 어떤 버전이 더 좋은 성과를 내는지 판단하는 방법이다.

여기서, 좋은 성과는, 클릭률이나 구매전환율 등 기업이 알고자 하는 비즈니스 성과 지표를 기준으로 한다. 이러한 에이비 테스트는 웹페이지의 디자인 변경이나 상품 배치 변경, 소프트웨어 로직 변경 등 다양한 분야에서 사용될 수 있다.

에이비 테스트는, 두개의 버전으로 나뉘어 테스트가 진행되는 동안, 사용자의 행동에 영향을 미칠 수 있는 하나의 변형을 제외하고 나머지 조건은 동일하게 유지함으로써 기업이 분석하고자 하는 특정 변경사항의 영향력을 데이터로 파악할 수 있다. 기업들은 에이비 테스트 결과를 통해, 비지니스 성장을 위한 최적의안을 파악하고 데이터를 바탕으로 의사결정을 할 수 있게 된다.

종래의 에이비 테스트는 에이비 테스트 과정을 관리하거나 에이비 테스트 중 발생되는 이상징후를 관리하지 않고, 결과값을 도출하였다. 이러한 경우, 새로운 버전 적용에 위험이 노출되는 상황에서도 에이비 테스트가 종료될 때까지 위험이 노출된 상태로 유지해야 하는 문제가 있었다.

한국등록특허 제10-1784105호 (2017.09.26)

본 발명이 해결하고자 하는 과제는 제1 버전(현재 배포된 버전)의 제1 서비스와 제2 버전(개선된 버전)의 제2 서비스 간의 에이비 테스트(A/B Test)를 제공함으로써, 기업들이 비지니스 성과에 미치는 영향을 쉽고, 빠르고, 정확하게 파악할 수 있도록 할 뿐만 아니라, 이상징후 감지 및 대응을 통해 에이비 테스트 진행 과정에서 발생될 수 있는 리스크를 관리함으로써, 보다 안전한 에이비 테스트를 수행할 수 있는 이상징후 관리가 가능한 에이비 테스트 제공방법, 서버 및 컴퓨터프로그램을 제공하는 것이다.

본 발명이 해결하고자 하는 과제들은 이상에서 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

상술한 과제를 해결하기 위한 본 발명의 일 실시예에 따른 이상징후 관리가 가능한 에이비 테스트 제공방법은, 컴퓨팅 장치에 의해 수행되는 방법에 있어서, 제1 서비스와 제2 서비스에 대한 에이비 테스트(A/B Test)를 생성하는 단계, 복수의 사용자가 상기 생성된 에이비 테스트를 통해 상기 제1 서비스 또는 상기 제2 서비스를 이용함에 따라 생성되는 인풋 데이터를 수집하는 단계 및 상기 수집된 인풋 데이터를 이용하여 상기 에이비 테스트에 대한 결과를 도출하는 단계를 포함할 수 있다.

다양한 실시예에서, 상기 에이비 테스트를 생성하는 단계는, 상기 제1 서비스 및 상기 제2 서비스 사이에 둘 이상의 차별화 포인트가 있는 경우, 상기 둘 이상의 차별화 포인트 각각에 대하여 개별적인 에이비 테스트를 생성하는 단계를 포함할 수 있다.

다양한 실시예에서, 상기 에이비 테스트를 생성하는 단계는, 상기 제1 서비스 및 상기 제2 서비스를 제공하는 서비스 제공자로부터 상기 생성된 에이비 테스트에 대한 노출범위를 설정받는 단계 및 상기 설정된 노출범위에 기초하여, 상기 복수의 사용자 중 상기 생성된 에이비 테스트를 제공할 사용자의 범위를 결정하는 단계를 포함할 수 있다.

다양한 실시예에서, 상기 생성된 에이비 테스트를 제공할 사용자의 범위를 결정하는 단계는, 상기 수집된 인풋 데이터 및 상기 도출된 결과에 따라 상기 설정된 노출범위를 변경하거나 또는 상기 서비스 제공자로부터 노출범위를 재설정받음에 따라 상기 설정된 노출범위를 변경하되, 상기 변경된 노출범위의 크기는 상기 설정된 노출범위보다 큰 값을 가지는 것인, 단계를 포함할 수 있다.

다양한 실시예에서, 상기 에이비 테스트를 생성하는 단계는, SDK(Software development kit)와 연동하여 구현된 상기 제1 서비스 및 상기 제2 서비스에 대한 에이비 테스트를 생성하는 단계를 포함하고, 상기 인풋 데이터를 수집하는 단계는, 상기 SDK를 통해, 상기 제1 서비스 또는 상기 제2 서비스를 이용하는 상기 복수의 사용자에 관한 정보 및 상기 복수의 사용자 각각에 대한 고유 식별자를 상기 인풋 데이터로서 수집하는 단계를 포함할 수 있다.

다양한 실시예에서, 상기 인풋 데이터를 수집하는 단계는, 상기 복수의 사용자가 상기 제1 서비스 또는 상기 제2 서비스를 이용함에 따라 생성되는 복수의 인풋 데이터를 임시 저장 공간에 임시 저장하는 단계 및 기 설정된 주기마다 상기 임시 저장된 복수의 인풋 데이터를 저장 공간으로 전송하는 단계를 포함할 수 있다.

다양한 실시예에서, 상기 임시 저장된 복수의 인풋 데이터를 저장 공간으로 전송하는 단계는, 제1 신호가 출력됨에 따라 상기 제1 신호가 출력되기 이전에 상기 임시 저장된 복수의 인풋 데이터를 상기 저장 공간으로 전송하되, 상기 임시 저장된 복수의 인풋 데이터 중 상기 저장 공간으로 전송되지 못한 적어도 하나의 인풋 데이터를 재전송 대상으로 설정하는 단계 및 상기 제1 신호가 출력된 후 제2 신호가 출력됨에 따라 상기 제1 신호가 출력된 시점부터 상기 제2 신호가 출력된 시점까지 상기 임시 저장 공간에 저장된 복수의 인풋 데이터를 상기 저장 공간으로 전송하되, 상기 재전송 대상으로 설정된 적어도 하나의 인풋 데이터를 우선적으로 전송하는 단계를 포함할 수 있다.

다양한 실시예에서, 상기 임시 저장 공간에 임시 저장하는 단계는, 제1 사용자가 상기 제1 서비스 또는 상기 제2 서비스를 이용함에 따라 생성되는 복수의 제1 인풋 데이터를 임시 저장하는 단계를 포함하며, 상기 임시 저장된 복수의 인풋 데이터를 저장 공간으로 전송하는 단계는, 상기 임시 저장된 복수의 제1 인풋 데이터를 이용하여, 상기 제1 사용자가 이용 중인 서비스를 종료하는 것을 감지하는 단계 및 상기 제1 사용자가 이용 중인 서비스를 종료하는 것에 응답하여 상기 제1 사용자에 대한 종료 신호를 출력하고, 상기 출력된 종료 신호에 기초하여 상기 임시 저장된 복수의 제1 인풋 데이터를 상기 저장 공간으로 전송하는 단계를 포함할 수 있다.

다양한 실시예에서, 상기 임시 저장된 하나 이상의 제1 인풋 데이터를 상기 저장 공간으로 전송하는 단계는, 상기 임시 저장된 복수의 제1 인풋 데이터 중 상기 저장 공간으로 전송되지 못한 적어도 하나의 제1 인풋 데이터를 재전송 대상으로 설정하는 단계 및 상기 제1 사용자가 상기 제1 서비스 또는 상기 제2 서비스를 개시함에 따라 상기 재설정 대상으로 설정된 적어도 하나의 제1 인풋 데이터를 상기 저장 공간으로 전송하는 단계를 포함할 수 있다.

다양한 실시예에서, 상기 에이비 테스트에 대한 결과를 도출하는 단계는, 상기 제1 서비스를 이용하는 사용자들로부터 수집된 인풋 데이터를 이용하여 상기 에이비 테스트에 대한 결과로서 상기 제1 서비스에 대한 제1 전환율을 산출하고, 상기 제2 서비스를 이용하는 사용자들로부터 수집된 인풋 데이터를 이용하여 상기 에이비 테스트에 대한 결과로서 상기 제2 서비스에 대한 제2 전환율을 산출하는 단계 및 상기 산출된 제1 전환율 및 상기 산출된 제2 전환율에 기초하여, 상기 복수의 사용자에게 상기 제1 서비스 및 상기 제2 서비스 중 어느 하나의 서비스만을 제공하는 단계를 포함할 수 있다.

다양한 실시예에서, 상기 제1 서비스 및 상기 제2 서비스 중 어느 하나의 서비스만을 제공하는 단계는, 상기 에이비 테스트가 종료되는 경우, 상기 산출된 제1 전환율 및 상기 산출된 제2 전환율을 비교하여 상기 제1 서비스 및 상기 제2 서비스 중 어느 하나의 서비스만을 제공하되, 상기 산출된 제1 전환율과 상기 산출된 제2 전환율의 차이가 기 설정된 값을 초과하는 경우 상기 에이비 테스트가 종료와 관계없이 상기 제2 서비스에 대한 롤백(Roll back)을 수행하는 단계를 포함할 수 있다.

다양한 실시예에서, 상기 복수의 사용자의 단말로부터 수집되는 로그 데이터를 이용하여 상기 제1 서비스 또는 상기 제2 서비스에 대한 이상징후를 감지하는 단계 및 상기 제1 서비스 또는 상기 제2 서비스에 대한 이상징후를 감지되는 경우, 기 설정된 룰에 따라 상기 감지된 이상징후에 대한 정보를 제공하거나, 상기 이상징후가 감지된 제1 서비스 또는 제2 서비스에 대한 롤백을 수행하거나 또는 상기 이상징후가 감지된 제1 서비스 또는 제2 서비스를 이용하는 사용자의 단말에 대한 트래픽을 차단하는 단계를 더 포함할 수 있다.

상술한 과제를 해결하기 위한 본 발명의 다른 실시예에 따른 이상징후 관리가 가능한 에이비 테스트 제공서버는, 프로세서, 네트워크 인터페이스, 메모리 및 상기 메모리에 로드(load)되고, 상기 프로세서에 의해 실행되는 컴퓨터 프로그램을 포함하되, 상기 컴퓨터 프로그램은, 제1 서비스와 제2 서비스에 대한 에이비 테스트(A/B Test)를 생성하는 인스트럭션(instruction), 복수의 사용자가 상기 생성된 에이비 테스트를 통해 상기 제1 서비스 또는 상기 제2 서비스를 이용함에 따라 생성되는 인풋 데이터를 수집하는 인스트럭션 및 상기 수집된 인풋 데이터를 이용하여 상기 에이비 테스트에 대한 결과를 도출하는 인스트럭션을 포함할 수 있다.

상술한 과제를 해결하기 위한 본 발명의 또 다른 실시예에 따른 컴퓨터로 읽을 수 있는 기록매체에 기록된 컴퓨터프로그램은, 컴퓨팅 장치와 결합되어, 제1 서비스와 제2 서비스에 대한 에이비 테스트(A/B Test)를 생성하는 단계, 복수의 사용자가 상기 생성된 에이비 테스트를 통해 상기 제1 서비스 또는 상기 제2 서비스를 이용함에 따라 생성되는 인풋 데이터를 수집하는 단계 및 상기 수집된 인풋 데이터를 이용하여 상기 에이비 테스트에 대한 결과를 도출하는 단계를 실행시키기 위하여 컴퓨터로 판독가능한 기록매체에 저장될 수 있다.

본 발명의 기타 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.

본 발명의 다양한 실시예에 따르면, 제1 버전(현재 배포된 버전)의 제1 서비스와 제2 버전(개선된 버전)의 제2 서비스 간의 에이비 테스트(A/B Test)를 제공함으로써, 기업들이 비지니스 성과에 미치는 영향을 쉽고, 빠르고, 정확하게 파악할 수 있도록 할 뿐만 아니라, 이상징후 감지 및 대응을 통해 에이비 테스트 진행 과정에서 발생될 수 있는 리스크를 관리함으로써, 보다 안전한 에이비 테스트를 수행할 수 있다는 이점이 있다.

본 발명의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

도 1은 본 발명의 일 실시예에 따른 이상징후 관리가 가능한 에이비 테스트 제공시스템을 도시한 도면이다.
도 2는 본 발명의 다른 실시예에 따른 이상징후 관리가 가능한 에이비 테스트 제공서버의 하드웨어 구성도이다.
도 3은 본 발명의 또 다른 실시예에 따른 이상징후 관리가 가능한 에이비 테스트 제공방법의 순서도이다.
도 4는 다양한 실시예에서, 인풋 데이터를 수집 및 저장하는 방법을 설명하기 위한 순서도이다.
도 5는 다양한 실시예에서, 에이비 테스트에 대한 결과를 도출하는 방법을 설명하기 위한 순서도이다.
도 6은 다양한 실시예에서, 에이비 테스트에 대한 이상징후를 감지 및 처리 방법을 설명하기 위한 순서도이다.
도 7은 다양한 실시예에서, 이상징후 관리가 가능한 에이비 테스트 제공서버가 제공하는 에이비 테스트 대시보드 사용자 인터페이스(User Interface, UI)를 예시적으로 도시한 도면이다.
도 8은 내지 13은 다양한 실시예에서, 이상징후 관리가 가능한 에이비 테스트 제공서버가 제공하는 에이비 테스트 생성을 위한 UI를 예시적으로 도시한 도면이다.
도 14 내지 16은 다양한 실시예에서, 이상징후 관리가 가능한 에이비 테스트 제공서버가 제공하는 현재 진행 중인 에이비 테스트에 대한 정보를 출력하는 UI를 예시적으로 도시한 도면이다.
도 17은 다양한 실시예에서, 이상징후 관리가 가능한 에이비 테스트 제공서버가 제공하는 에이비 테스트에 대한 결과를 출력하는 UI를 예시적으로 도시한 도면이다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술 분야의 통상의 기술자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.

본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. 명세서 전체에 걸쳐 동일한 도면 부호는 동일한 구성 요소를 지칭하며, "및/또는"은 언급된 구성요소들의 각각 및 하나 이상의 모든 조합을 포함한다. 비록 "제1", "제2" 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.

다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.

명세서에서 사용되는 "부" 또는 “모듈”이라는 용어는 소프트웨어, FPGA 또는 ASIC과 같은 하드웨어 구성요소를 의미하며, "부" 또는 “모듈”은 어떤 역할들을 수행한다. 그렇지만 "부" 또는 “모듈”은 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. "부" 또는 “모듈”은 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 "부" 또는 “모듈”은 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 "부" 또는 “모듈”들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 "부" 또는 “모듈”들로 결합되거나 추가적인 구성요소들과 "부" 또는 “모듈”들로 더 분리될 수 있다.

공간적으로 상대적인 용어인 "아래(below)", "아래(beneath)", "하부(lower)", "위(above)", "상부(upper)" 등은 도면에 도시되어 있는 바와 같이 하나의 구성요소와 다른 구성요소들과의 상관관계를 용이하게 기술하기 위해 사용될 수 있다. 공간적으로 상대적인 용어는 도면에 도시되어 있는 방향에 더하여 사용시 또는 동작시 구성요소들의 서로 다른 방향을 포함하는 용어로 이해되어야 한다. 예를 들어, 도면에 도시되어 있는 구성요소를 뒤집을 경우, 다른 구성요소의 "아래(below)"또는 "아래(beneath)"로 기술된 구성요소는 다른 구성요소의 "위(above)"에 놓여질 수 있다. 따라서, 예시적인 용어인 "아래"는 아래와 위의 방향을 모두 포함할 수 있다. 구성요소는 다른 방향으로도 배향될 수 있으며, 이에 따라 공간적으로 상대적인 용어들은 배향에 따라 해석될 수 있다.

본 명세서에서, 컴퓨터는 적어도 하나의 프로세서를 포함하는 모든 종류의 하드웨어 장치를 의미하는 것이고, 실시 예에 따라 해당 하드웨어 장치에서 동작하는 소프트웨어적 구성도 포괄하는 의미로서 이해될 수 있다. 예를 들어, 컴퓨터는 스마트폰, 태블릿 PC, 데스크톱, 노트북 및 각 장치에서 구동되는 사용자 클라이언트 및 애플리케이션을 모두 포함하는 의미로서 이해될 수 있으며, 또한 이에 제한되는 것은 아니다.

이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세하게 설명한다.

본 명세서에서 설명되는 각 단계들은 컴퓨터에 의하여 수행되는 것으로 설명되나, 각 단계의 주체는 이에 제한되는 것은 아니며, 실시 예에 따라 각 단계들의 적어도 일부가 서로 다른 장치에서 수행될 수도 있다.

도 1은 본 발명의 일 실시예에 따른 이상징후 관리가 가능한 에이비 테스트 제공시스템을 도시한 도면이다.

도 1을 참조하면, 본 발명의 일 실시예에 따른 이상징후 관리가 가능한 에이비 테스트 제공시스템은 에이비 테스트 제공서버(100)(이하, '서버(100)'), 사용자 단말(200), 외부 서버(300) 및 네트워크(400)를 포함할 수 있다.

여기서, 도 1에 도시된 이상징후 관리가 가능한 에이비 테스트 제공시스템은 일 실시예에 따른 것이고, 그 구성 요소가 도 1에 도시된 실시예에 한정되는 것은 아니며, 필요에 따라 부가, 변경 또는 삭제될 수 있다.

일 실시예에서, 서버(100)는 둘 이상의 서비스에 대한 에이비 테스트를 생성할 수 있고, 생성된 에이비 테스트를 이용하여 제1 서비스와 제2 서비스를 비교함으로써, 신규 기능에 대한 효과 검증, 불확실성 확인 및 발생 가능한 이슈 체크를 수행할 수 있다. 예를 들어, 서버(100)는 제1 서비스와 제2 서비스에 대한 에이비 테스트를 생성하여, 서로 다른 사용자에게 제공할 수 있고, 사용자들로부터 수집되는 인풋 데이터를 분석하여 에이스 테스트에 대한 결과를 도출할 수 있다.

여기서, 제1 서비스 및 제2 서비스는 동일한 서비스의 서로 다른 버전을 의미할 수 있다. 예를 들어, 제1 서비스는 현재 배포된 서비스를 의미할 수 있고, 제2 서비스는 제1 서비스에 신규 기능이 추가된 서비스, 제1 서비스의 일부 기능이 삭제 또는 변경된 서비스를 의미할 수 있으나 이에 한정되지 않는다.

다양한 실시예에서, 서버(100)가 제공하는 이상징후 관리가 가능한 에이비 테스트는 웹(Web) 또는 애플리케이션(Application) 형태로 구현되어 제공될 수 있으나, 이에 한정되지 않는다.

다양한 실시예에서, 서버(100)는 네트워크(400)를 통해 사용자 단말(200)과 연결될 수 있으며, 사용자 단말(200)로 제1 서비스 및 제2 서비스의 에이비 테스트 수행 및 에이비 테스트에 대한 결과를 제공하기 위한 사용자 인터페이스(User Interface, UI)(예: 도 7 내지 15)를 제공할 수 있다.

여기서, 사용자 단말(200)은 제1 서비스 및 제2 서비스를 이용하는 사용자들의 단말 또는 제1 서비스 또는 제2 서비스를 제공하는 서비스 제공자의 단말을 의미할 수 있으며, 휴대성과 이동성이 보장되는 무선 통신 장치로서, 네비게이션, PCS(Personal Communication System), GSM(Global System for Mobile communications), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), Wibro(Wireless Broadband Internet) 단말, 스마트폰(Smartphone), 스마트 패드(Smartpad), 타블렛PC(Tablet PC) 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치를 포함할 수 있으나, 이에 한정되지 않는다.

또한, 여기서, 네트워크(400)는 복수의 단말 및 서버들과 같은 각각의 노드 상호 간에 정보 교환이 가능한 연결 구조를 의미할 수 있다. 예를 들어, 네트워크(400)는 근거리 통신망(LAN: Local Area Network), 광역 통신망(WAN: Wide Area Network), 인터넷(WWW: World Wide Web), 유무선 데이터 통신망, 전화망, 유무선 텔레비전 통신망 등을 포함할 수 있다.

또한, 여기서, 무선 데이터 통신망은 3G, 4G, 5G, 3GPP(3rd Generation Partnership Project), 5GPP(5th Generation Partnership Project), LTE(Long Term Evolution), WIMAX(World Interoperability for Microwave Access), 와이파이(Wi-Fi), 인터넷(Internet), LAN(Local Area Network), Wireless LAN(Wireless Local Area Network), WAN(Wide Area Network), PAN(Personal Area Network), RF(Radio Frequency), 블루투스(Bluetooth) 네트워크, NFC(Near-Field Communication) 네트워크, 위성 방송 네트워크, 아날로그 방송 네트워크, DMB(Digital Multimedia Broadcasting) 네트워크 등이 포함되나 이에 한정되지는 않는다.

일 실시예에서, 외부 서버(300)는 네트워크(400)를 통해 서버(100)와 연결될 수 있으며, 서버(100)가 이상징후 관리가 가능한 에이비 테스트를 수행함에 있어서 필요한 정보 및 데이터를 제공하거나, 서버(100)가 이상징후 관리가 가능한 에이비 테스트를 수행함에 따라 생성되는 정보 및 데이터를 제공받아 저장 및 관리할 수 있다.

다양한 실시예에서, 외부 서버(300)는 서버(100)의 외부에 별도로 구비되는 저장 서버일 수 있으나, 이에 한정되지 않는다. 이하, 도 2를 참조하여 이상징후 관리가 가능한 에이비 테스트를 제공하는 서버(100)의 하드웨어 구성에 대해 설명하도록 한다.

도 2는 본 발명의 다른 실시예에 따른 이상징후 관리가 가능한 에이비 테스트 제공서버의 하드웨어 구성도이다.

도 2를 참조하면, 다양한 실시예에서, 서버(100)는 하나 이상의 프로세서(110), 프로세서(110)에 의하여 수행되는 컴퓨터 프로그램(151)을 로드(Load)하는 메모리(120), 버스(130), 통신 인터페이스(140) 및 컴퓨터 프로그램(151)을 저장하는 스토리지(150)를 포함할 수 있다. 여기서, 도 2에는 본 발명의 실시예와 관련 있는 구성요소들만 도시되어 있다. 따라서, 본 발명이 속한 기술분야의 통상의 기술자라면 도 2에 도시된 구성요소들 외에 다른 범용적인 구성 요소들이 더 포함될 수 있음을 알 수 있다.

프로세서(110)는 서버(100)의 각 구성의 전반적인 동작을 제어한다. 프로세서(110)는 CPU(Central Processing Unit), MPU(Micro Processor Unit), MCU(Micro Controller Unit), GPU(Graphic Processing Unit) 또는 본 발명의 기술 분야에 잘 알려진 임의의 형태의 프로세서를 포함하여 구성될 수 있다.

또한, 프로세서(110)는 본 발명의 실시예들에 따른 방법을 실행하기 위한 적어도 하나의 애플리케이션 또는 프로그램에 대한 연산을 수행할 수 있으며, 서버(100)는 하나 이상의 프로세서를 구비할 수 있다.

다양한 실시예에서, 프로세서(110)는 프로세서(110) 내부에서 처리되는 신호(또는, 데이터)를 일시적 및/또는 영구적으로 저장하는 램(RAM: Random Access Memory, 미도시) 및 롬(ROM: Read-Only Memory, 미도시)을 더 포함할 수 있다. 또한, 프로세서(110)는 그래픽 처리부, 램 및 롬 중 적어도 하나를 포함하는 시스템온칩(SoC: system on chip) 형태로 구현될 수 있다.

메모리(120)는 각종 데이터, 명령 및/또는 정보를 저장한다. 메모리(120)는 본 발명의 다양한 실시예에 따른 방법/동작을 실행하기 위하여 스토리지(150)로부터 컴퓨터 프로그램(151)을 로드할 수 있다. 메모리(120)에 컴퓨터 프로그램(151)이 로드되면, 프로세서(110)는 컴퓨터 프로그램(151)을 구성하는 하나 이상의 인스트럭션들을 실행함으로써 상기 방법/동작을 수행할 수 있다. 메모리(120)는 RAM과 같은 휘발성 메모리로 구현될 수 있을 것이나, 본 개시의 기술적 범위가 이에 한정되는 것은 아니다.

버스(130)는 서버(100)의 구성 요소 간 통신 기능을 제공한다. 버스(130)는 주소 버스(address Bus), 데이터 버스(Data Bus) 및 제어 버스(Control Bus) 등 다양한 형태의 버스로 구현될 수 있다.

통신 인터페이스(140)는 서버(100)의 유무선 인터넷 통신을 지원한다. 또한, 통신 인터페이스(140)는 인터넷 통신 외의 다양한 통신 방식을 지원할 수도 있다. 이를 위해, 통신 인터페이스(140)는 본 발명의 기술 분야에 잘 알려진 통신 모듈을 포함하여 구성될 수 있다. 몇몇 실시예에서, 통신 인터페이스(140)는 생략될 수도 있다.

스토리지(150)는 컴퓨터 프로그램(151)을 비 임시적으로 저장할 수 있다. 서버(100)를 에이비 테스트를 수행하는 경우, 스토리지(150)는 에이비 테스트의를 수행하기 위하여 필요한 각종 정보를 저장할 수 있다.

스토리지(150)는 ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리 등과 같은 비휘발성 메모리, 하드 디스크, 착탈형 디스크, 또는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터로 읽을 수 있는 기록 매체를 포함하여 구성될 수 있다.

컴퓨터 프로그램(151)은 메모리(120)에 로드될 때 프로세서(110)로 하여금 본 발명의 다양한 실시예에 따른 방법/동작을 수행하도록 하는 하나 이상의 인스트럭션들을 포함할 수 있다. 즉, 프로세서(110)는 상기 하나 이상의 인스트럭션들을 실행함으로써, 본 발명의 다양한 실시예에 따른 상기 방법/동작을 수행할 수 있다.

일 실시예에서, 컴퓨터 프로그램(151)은 제1 서비스와 제2 서비스에 대한 에이비 테스트(A/B Test)를 생성하는 단계, 복수의 사용자가 상기 생성된 에이비 테스트를 통해 상기 제1 서비스 또는 상기 제2 서비스를 이용함에 따라 생성되는 인풋 데이터를 수집하는 단계 및 상기 수집된 인풋 데이터를 이용하여 상기 에이비 테스트에 대한 결과를 도출하는 단계를 포함하는 이상징후 관리가 가능한 에이비 테스트 제공방법을 수행하도록 하는 하나 이상의 인스트럭션을 포함할 수 있다.

본 발명의 실시예와 관련하여 설명된 방법 또는 알고리즘의 단계들은 하드웨어로 직접 구현되거나, 하드웨어에 의해 실행되는 소프트웨어 모듈로 구현되거나, 또는 이들의 결합에 의해 구현될 수 있다. 소프트웨어 모듈은 RAM(Random Access Memory), ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리(Flash Memory), 하드 디스크, 착탈형 디스크, CD-ROM, 또는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터 판독가능 기록매체에 상주할 수도 있다.

본 발명의 구성 요소들은 하드웨어인 컴퓨터와 결합되어 실행되기 위해 프로그램(또는 애플리케이션)으로 구현되어 매체에 저장될 수 있다. 본 발명의 구성 요소들은 소프트웨어 프로그래밍 또는 소프트웨어 요소들로 실행될 수 있으며, 이와 유사하게, 실시 예는 데이터 구조, 프로세스들, 루틴들 또는 다른 프로그래밍 구성들의 조합으로 구현되는 다양한 알고리즘을 포함하여, C, C++, 자바(Java), 어셈블러(assembler) 등과 같은 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능적인 측면들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다. 이하, 도 3내지 6을 참조하여, 서버(100)가 제공하는 이상징후 관리가 가능한 에이비 테스트 제공방법에 대하여 설명하도록 한다.

도 3은 본 발명의 또 다른 실시예에 따른 이상징후 관리가 가능한 에이비 테스트 제공방법의 순서도이다.

도 3을 참조하면, S110 단계에서, 서버(100)는 제1 서비스와 제2 서비스에 대한 에이비 테스트(A/B Test)를 생성할 수 있다. 예를 들어, 서버(100)는 네트워크(400)를 통해 사용자 단말(200)(예: 제1 서비스 및 제2 서비스를 제공하는 서비스 제공자의 단말)과 연결될 수 있고, 사용자 단말(200)로 에이비 테스트 생성을 위한 UI(예: 도 8 내지 13)를 제공할 수 있고, 에이비 테스트 생성을 위한 UI를 통해 에이비 테스트에 대한 정보(예: 테스트 이름, 테스트 설명, 테스트 그룹, 테스트 목표 등)를 입력받아 제1 서비스와 제2 서비스에 대한 에이비 테스트를 생성할 수 있다.

다양한 실시예에서, 서버(100)는 제1 서비스 및 제2 서비스 사이에 둘 이상의 차별화 포인트가 있는 경우, 둘 이상의 차별화 포인트 각각에 대하여 개별적인 에이비 테스트를 생성할 수 있다. 예를 들어, 서버(100)는 제1 서비스와 제2 서비스가 하나의 디자인적 차별화 포인트와 하나의 기능적 차별화 포인트 즉, 총 2개의 차별화 포인트를 가지는 경우, 2개의 차별화 포인트 각각에 대하여 독립적인 에이비 테스트를 생성 즉, 제1 서비스와 하나의 디자인적 차별화 포인트만이 적용된 제2 서비스에 대한 에이비 테스트 및 제1 서비스와 하나의 기능적 차별화 포인트만이 적용된 제2 서비스에 대한 에이비 테스트를 생성할 수 있다.

또한, 서버(100)는 제1 서비스가 제1 기능 및 제2 기능을 포함하고, 제2 서비스가 제3 기능(예: 제1 기능의 적어도 일부분이 개선된 기능) 및 제4 기능(예: 제2 기능의 적어도 일부분이 개선된 기능)을 포함하는 경우, 제1 기능 및 제2 기능을 포함하는 제1 서비스와 제2 기능 및 제3 기능을 포함하는 제2 서비스에 대한 에이비 테스트, 제1 기능 및 제2 기능을 포함하는 제1 서비스와 제1 기능 및 제4 기능을 포함하는 제2 서비스에 대한 에이비 테스트를 생성할 수 있다. 이때, 둘 이상의 차별화 포인트에 따라 생성된 둘 이상의 에이비 테스트는 상호 독립적으로 수행되며, 각각의 에이비 테스트에 대한 결과는 상호 영향을 미치지 않는다.

다양한 실시예에서, 서버(100)는 제1 서비스 및 제2 서비스 사이에 둘 이상의 차별화 포인트가 있는 경우, 둘 이상의 차별화 포인트 각각이 개별적으로 반영된 제2 서비스가 서로 다른 사용자 그룹에 제공될 수 있도록 에이비 테스트를 생성할 수 있다. 예를 들어, 서버(100)는 제1 서비스와 제2 서비스가 하나의 디자인적 차별화 포인트와 하나의 기능적 차별화 포인트 즉, 총 2개의 차별화 포인트를 가지는 경우, 에이비 테스트를 제공할 복수의 사용자 중 1/3의 사용자에게 제1 서비스를 제공하고, 다른 1/3의 사용자에게 하나의 디자인적 차별화 포인트가 적용된 제2 서비스를 제공할 수 있으며, 나머지 1/3의 사용자에게 하나의 기능적 차별화 포인트가 적용된 제2 서비스를 제공할 수 있다.

즉, 서버(100)는 현재 배포된 버전의 서비스 대비 다수의 요소가 업데이트된 서비스에 대하여, 다수의 요소 각각에 대한 검증을 개별적으로 수행함으로써, 각각의 요소에 대한 효과를 개별적으로 산출할 수 있고, 이를 통해 특정 요소만을 선택적으로 적용하는 등 다수의 요소를 유동적으로 반영할 수 있도록 보조할 수 있다.

다양한 실시예에서, 서버(100)는 제1 서비스 및 상기 제2 서비스를 제공하는 서비스 제공자로부터 에이비 테스트에 대한 노출범위를 설정받을 수 있고, 설정된 노출범위에 기초하여 복수의 사용자 중 에이비 테스트를 제공할 사용자의 범위를 결정할 수 있다. 예를 들어, 서버(100)는 사용자 단말(200)(예: 제1 서비스 및 제2 서비스를 제공하는 서비스 제공자의 단말)로 노출범위로서 트래픽 비중을 설정하기 위한 트래픽 할당 UI(예: 도 12의 23)를 제공할 수 있고, 트래픽 할당 UI(23)를 통해 트래픽 비중을 입력받을 수 있다.

여기서, 트래픽 할당(Traffic Allocation)은 예상치 못한 버그나 의도하지 않은 고객경험의 영향도를 최소화하기 위하여, 전체 사용자 중 에이비 테스트의 대상이 될 사용자의 비율을 설정하는 것을 의미할 수 있다. 예를 들어, 서버(100)는 사용자로부터 20의 트래픽 비중을 입력받는 경우, 전체 사용자 중 20% 사용자만을 에이비 테스트 대상으로 설정할 수 있다.

다양한 실시예에서, 서버(100)는 후술되는 S120 단계를 거쳐 수집된 인풋 데이터 및 후술되는 S130 단계를 거쳐 도출된 결과에 따라 서비스 제공자로부터 설정된 노출범위를 변경할 수 있다. 또한, 서버(100)는 서비스 제공자로부터 노출범위를 재설정받음에 따라 서비스 제공자로부터 설정된 노출범위를 변경할 수 있다. 이때, 변경되는 노출범위는 이전에 설정된 노출범위 대비 큰 값을 가지도록 설정될 수 있다. 예를 들어, 트래픽 할당은 예상치 못한 버그나 의도하지 않은 고객경험의 영향도를 최소화하기 위하여 설정되는 것인 바, 서버(100)는 인풋 데이터 및 에이비 테스트에 대한 결과에 기초하여 버그 발생률 또는 고객경험의 영향도가 기준 미만인 경우 서비스 제공자로부터 설정된 노출범위를 점진적으로 증가시켜 더욱 많은 사용자들을 대상으로 에이비 테스트가 수행될 수 있도록 한다.

다양한 실시예에서, 서버(100)는 서비스 제공자로부터 테스트 그룹 분배 비율을 입력받을 수 있고, 테스트 그룹 분배 비율에 따라 에이비 테스트 대상으로 설정된 사용자들을 분배할 수 있다.

여기서, 테스트 그룹 분배(Variation Distribution)은 트래픽 할당을 통해 에이비 테스트 대상으로 설정된 사용자들을 제1 서비스를 제공할 사용자와 제2 서비스를 제공할 사용자로 분배하는 것을 의미할 수 있다. 예를 들어, 서버(100)는 서비스 제공자로부터 40의 트래픽 비중을 입력받는 경우 전체 사용자 중 40%의 사용자만을 에이비 테스트 대상으로 설정할 수 있고, 서비스 제공자로부터 테스트 그룹 분배 비율을 5:5로 설정받는 경우, 에이비 테스트 대상으로 설정된 사용자(전체 사용자 중 40%의 사용자) 중 절반의 사용자에게 제1 서비스를 제공하고 나머지 절반의 사용자에게 제2 서비스를 제공할 수 있다. 즉, 전체 사용자가 1만명인 경우, 이중 40%인 4천명을 에이비 테스트 대상으로 설정하고, 4천명의 사용자 중 2천명에게 제1 서비스를 제공하며 나머지 2천명에서 제2 서비스를 제공할 수 있다.

다양한 실시예에서, 서버(100)는 제1 서비스와 제2 서비스에 대한 에이비 테스트를 생성하되, 제1 서비스를 제공할 사용자 및 제2 서비스를 제공할 사용자를 직접 지정할 수 있다. 예를 들어, 서버(100)는 사용자 단말(200)(예: 제1 서비스 및 제2 서비스를 제공하는 서비스 제공자의 단말)로 에이비 테스트 대상이 되는 사용자를 수동으로 할당하기 위한 UI(예: 도 13의 24)를 제공할 수 있고, UI(24)를 통해, 제1 서비스를 제공할 사용자의 그룹(대조군)과 제2 서비스를 제공할 사용자의 그룹(실험군)을 직접 설정받을 수 있다.

다양한 실시예에서, 서버(100)는 후술되는 S120 단계를 거쳐 복수의 사용자가 제1 서비스 또는 제2 서비스를 이용함에 따라 생성되는 인풋 데이터를 수집하기 위한 목적으로, 제1 서비스 및 제2 서비스에 대한 에이비 테스트와 SDK(Software development kit)와 연동할 수 있다(예: 도 10).

다양한 실시예에서, 서버(100)는 제1 서비스 및 제2 서비스에 대한 에이비 테스트의 목표를 설정받을 수 있다. 예를 들어, 에이비 테스트의 목표를 설정받는 방식은 도 11에 도시된 바와 같이, 복수의 추천 목표를 제공하고 복수의 추천 목표 중 어느 하나의 목표를 선택받는 형태로 구현될 수 있으나, 이에 한정되지 않고, 서비스 제공자로부터 직접 에이비 테스트에 대한 목표를 입력받는 형태로 구현될 수 있다.

S120 단계에서, 서버(100)는 복수의 사용자가 S110 단계를 거쳐 생성된 에이비 테스트를 통해 제1 서비스 또는 제2 서비스를 이용함에 따라 생성되는 인풋 데이터를 수집할 수 있다. 예를 들어, 서버(100)는 에이비 테스트와 SDK가 연동되어 있는 바, SDK 내부의 데이터 수집 모듈을 이용하여 인풋 데이터를 수집할 수 있다.

여기서, 인풋 데이터는 사용자의 행동(버튼위치, 클릭, 버튼명 등), 사용자의 행동 발생 시간, 사용자의 현재 위치, 사용자의 환경(운영체제(OS), 브라우저(Browser) 이름 및 버전 등), 언어(한국어, 영어 등), Time zone(UTC, KST) 등을 포함하는 사용자에 관한 정보를 의미할 수 있으며, 서버(100)는 메시지 형태로 수집되는 사용자에 관한 정보와 해당 사용자의 고유 식별자를 인풋 데이터로서 수집할 수 있다.

그러나, 이에 한정되지 않고, 인풋 데이터는 에이비 테스팅 고유 번호, 테스팅 결과 산출에 필요한 이벤트 정보(예: 전환율 산출에 필요한 결제 성공 이벤트 정보, 장바구니에 물건 담기 이벤트 정보), 이벤트 속성 정보(예: 결제 성공시의 결제 수단 정보, 사용자의 개인 정보(예를 들면, 성별 정보, 나이 정보) 등), 에이비 테스팅 대상에 대한 정보(예: 웹페이지를 구성하는 요소에 대한 정보) 중 적어도 어느 하나에 대한 데이터를 더 포함할 수 있다.

또한, 여기서, 사용자의 고유 식별자는 사용자를 식별하는 용도로 사용되는 유일 값(Unique value)로서, SDK를 통해 생성되는 ID(사용자 단말(200)의 ID 또는 사용자의 ID)일 수 있으나, 이에 한정되지 않는다.

다양한 실시예에서, 서버(100)는 본 발명의 다양한 실시예에 따른 이상징후 관리가 가능한 에이비 테스트 제공시스템 상에 사전에 정해진 규격에 따라 규격화된 OS, 언어, 위치 등의 정보를 포함하는 인풋 데이터를 SDK를 통해 자동적으로 수집할 수 있다. 즉, 서버(100)는 제1 서비스 또는 제2 서비스를 이용하는 사용자로부터 특정 형태의 인풋 데이터를 선택적으로 제공받는 것이 아니라, 사용자가 제1 서비스 또는 제2 서비스를 이용함에 따라 생성되는 인풋 데이터를 시스템 상에서 사전에 정해진 정보 규격에 기초하여 SDK를 통해 자동으로 수집할 수 있다.

다양한 실시예에서, 서버(100)는 복수의 사용자가 에이비 테스트를 통해 제1 서비스 또는 제2 서비스를 이용함에 따라 수집되는 인풋 데이터를 시각화하여 서비스 제공자에게 제공할 수 있다.

예를 들어, 서버(100)는 네트워크(400)를 통해 사용자 단말(200)(예: 제1 서비스 및 제2 서비스를 제공하는 서비스 제공자의 단말)과 연결될 수 있고, 사용자 단말(200)로 현재 진행 중인 에이비 테스트에 대한 정보를 출력하는 UI(예: 도 14 내지 16의 30)를 제공할 수 있고, UI(30)를 통해 복수의 사용자로부터 수집된 인풋 데이터를 시각화하여 제공할 수 있다.

보다 구체적으로, 서버(100)는 도 14 내지 16에 도시된 바와 같이, 시각화 모듈을 통해, 복수의 사용자가 에이비 테스트를 통해 제1 서비스 또는 제2 서비스를 이용함에 따라 수집되는 인풋 데이터를 시간별(일, 시, 분), 사용자별 행동 위치(이벤트명, 페이지 위치), 행동별, 건수별로 분류하여 시각화하여 서비스 제공자에게 제공할 수 있다. 여기서, 도 14 내지 17에서 시각화된 인풋 데이터 인풋 데이터를 도표 또는 그래프 형태인 것으로 도시되어 있으나, 이에 한정되지 않는다.

또한, 서버(100)는 에이비 테스트를 통해 제1 서비스 또는 제2 서비스를 이용하는 복수의 사용자를 속성에 따라 그룹화(예: 첫 구매 고객, 멤버쉽 가입 여부, 성별 등에 따라 그룹화)할 수 있고, 서비스 제공자의 요청에 따라 그룹화된 복수의 사용자 각각에 대한 인풋 데이터를 시각화하여 제공할 수 있다.

또한, 서버(100)는 에이비 테스트를 통해 제1 서비스 또는 제2 서비스를 이용하는 복수의 사용자의 사용 환경에 따라 그룹화(예: Window, Mac, Android, IOS 별로 그룹화)할 수 있고, 서비스 제공자의 요청에 따라 그룹화된 복수의 사용자 각각에 대한 인풋 데이터를 시각화하여 제공할 수 있다.

이때, 서버(100)가 제공하는 시각화 데이터(인풋 데이터를 시각화한 데이터)는 서비스 제공자로부터 별도의 요청(데이터 갱신 요청)을 획득하지 않더라도, 실시간 또는 기 설정된 주기마다 자동으로 갱신하여 서비스 제공자에게 제공할 수 있다.

다양한 실시예에서, 서버(100)는 제1 서비스 또는 제2 서비스를 이용하는 사용자로부터 에이비 테스트에 대한 중단 요청을 입력받을 수 있고, 중단 요청에 따라 에이비 테스트의 수행을 중단할 수 있다. 예를 들어, 고객이 에이비 테스트 데이터를 확인하다가 문제 발생을 인지하는 경우, 사용자 단말(200)을 통해 테스팅 중단을 요청할 수 있다. 이 경우, 서버(100)는 사용자 단말(200)로부터 에이비 테스트 중단에 관한 신호를 수신하는 즉시, 에이비 테스트의 수행을 중단할 수 있다.

다양한 실시예에서, 서버(100)는 트래픽 및 네트워크 사용량(인터넷 사용량)을 최소화하기 위한 목적으로, 실시간으로 수집되는 인풋 데이터를 임시 저장할 수 있고, 기 설정된 주기마다 임시 저장된 인풋 데이터를 저장할 수 있다. 이하, 도 4를 참조하여 설명하도록 한다.

도 4는 다양한 실시예에서, 인풋 데이터를 수집 및 저장하는 방법을 설명하기 위한 순서도이다.

도 4를 참조하면, S210 단계에서, 서버(100)는 복수의 사용자가 에이비 테스트를 통해 제1 서비스 또는 제2 서비스를 이용함에 따라 생성되는 인풋 데이터를 임시 저장할 수 있다. 예를 들어, 서버(100)는 수의 사용자가 에이비 테스트를 통해 제1 서비스 또는 제2 서비스를 이용함에 따라 생성되는 복수의 인풋 데이터를 임시 저장 공간(예: 웹(web): Local Storage, 애플리케이션(Application): File, 서버(Server): TempFile)에 임시로 저장할 수 있다.

S220 단계에서, 서버(100)는 신호(signal)의 출력 여부를 확인할 수 있다. 여기서, 신호는 타이머 모듈을 통해 발생되는 신호로서, 일정한 주기마다 인풋 데이터를 저장하기 위한 목적으로, 타이어 모듈이 기 설정된 주기마다 반복적으로 출력하는 신호일 수 있으나, 이에 한정되지 않고, 신호는 기 설정된 주기와 관계없이 특정한 조건(예: 제1 서비스 또는 제2 서비스의 이용 개시 및 종료)을 만족함에 따라 출력되는 형태로 구현될 수 있다.

S230 단계에서, 서버(100)는 S220 단계를 거쳐 타이머 모듈을 통해 제1 신호가 출력된 것으로 판단되는 경우, 임시 저장 공간에 임시 저장된 복수의 인풋 데이터를 저장 공간으로 전송할 수 있다. 예를 들어, 서버(100)의 저장 모듈이 타이머 모듈로부터 출력된 제1 신호를 입력받는 경우, 전송 모듈을 호출할 수 있고, 전송 모듈을 통해 유/무선으로 임시 저장된 복수의 인풋 데이터(제1 신호가 출력되기 이전에 임시 저장된 복수의 인풋 데이터)를 저장 공간으로 전송할 수 있다.

S240 단계에서, 서버(100)는 임시 저장된 복수의 인풋 데이터 중 저장 공간으로 전송되지 못한 인풋 데이터가 있는지 여부를 판단할 수 있다.

S250 단계에서, 서버(100)는 S240 단계를 거쳐 저장 공간으로 전송되지 못한 것으로 판단되는 적어도 하나의 인풋 데이터를 재전송 대상으로 설정할 수 있다.

추후, 서버(100)는 S210 단계 내지 S230 단계를 재수행하여, 제1 신호가 출력된 후 제2 신호가 출력됨에 따라 제1 신호가 출력된 시점부터 제2 신호가 출력된 시점까지 임시 저장 공간에 저장된 복수의 인풋 데이터를 저장 공간으로 전송하되, S250 단계를 거쳐 재전송 대상으로 설정된 적어도 하나의 인풋 데이터가 있는 경우, 재전송 대상으로 설정된 적어도 하나의 인풋 데이터부터 우선적으로 저장 공간으로 전송하고, 이후에 나머지 인풋 데이터를 순차적으로 저장 공간으로 전송할 수 있다.

다양한 실시예에서, 서버(100)는 제1 사용자가 제1 서비스 또는 제2 서비스를 이용함에 따라 생성되는 복수의 제1 인풋 데이터를 임시 저장할 수 있고, 임시 저장된 복수의 제1 인풋 데이터를 이용하여 제1 사용자가 이용 중인 서비스를 종료하는 것을 감지할 수 있으며, 제1 사용자가 이용 중인 서비스를 종료하는 것에 응답하여 제1 사용자에 대한 종료 신호를 출력하고, 출력된 종료 신호에 기초하여 임시 저장된 복수의 제1 인풋 데이터를 상기 저장 공간으로 전송할 수 있다.

이때, 서버(100)는 기 설정된 주기마다 출력되는 신호에 기초하여 임시 저장된 인풋 데이터를 저장 공간으로 전송하는 동작(S210 단계 내지 S250 단계)과 동일하게 임시 저장된 복수의 제1 인풋 데이터 중 저장 공간으로 전송되지 못한 적어도 하나의 제1 인풋 데이터를 재전송 대상으로 설정할 수 있다.

다만, 기 설정된 주기마다 출력되는 신호에 기초한 방식은 이전에 전송되지 못한 인풋 데이터(재전송 대상으로 설정된 인풋 데이터)를 다음 신호가 출력될 때 저장 공간으로 전송할 수 있으나, 사용자가 서비스의 이용을 종료함에 따라 출력되는 신호에 기초에 따라 전송되지 못한 인풋 데이터의 경우, 다음 신호가 출력되지 않기 때문(서비스를 종료했기 때문)에 저장 공간으로 전송되지 못하고 임시 저장 공간에 임시 저장된 채로 남아있게 된다.

이를 고려하여, 서버(100)는 사용자가 서비스의 이용을 종료함에 따라 출력되는 신호에 기초에 따라 전송되지 못한 인풋 데이터의 경우, 해당 사용자가 다시 서비스의 이용을 개시함에 따라 출력되는 신호에 기초하여 저장 공간으로 전송하는 동작을 최우선적으로 수행할 수 있다.

다시 도 3을 참조하면, S130 단계에서, 서버(100)는 S120 단계를 거쳐 수집된 인풋 데이터(저장 공간에 저장된 인풋 데이터)를 이용하여, 에이비 테스트에 대한 결과를 도출할 수 있다.

다양한 실시예에서, 서버(100)는 제1 서비스 및 제2 서비스에 대한 에이비 테스트 결과로서, 제1 서비스에 대한 제1 전환율 및 제2 서비스에 대한 제2 전환율을 산출할 수 있다. 이하, 도 5를 참조하여 설명하도록 한다.

도 5는 다양한 실시예에서, 에이비 테스트에 대한 결과를 도출하는 방법을 설명하기 위한 순서도이다.

도 5를 참조하면, S310 단계에서, 서버(100)는 제1 서비스 및 제2 서비스에 대한 에이비 테스트 결과로서, 제1 서비스를 이용하는 사용자들로부터 수집된 인풋 데이터를 이용하여 제1 서비스에 대한 제1 전환율을 산출하고, 제2 서비스를 이용하는 사용자들로부터 수집된 인풋 데이터를 이용하여 제2 서비스에 대한 제2 전환율을 산출할 수 있다.

여기서, 전환율(Conversion Rate: CVR)은 사용자들이 서비스가 실제로 의도하는 행동을 취하는 비율을 의미할 수 있다. 예를 들어, 전환율은 클릭률 또는 구매전환율을 의미할 수 있다.

다양한 실시예에서, 서버(100)는 전환율로서, 제1 서비스 또는 제2 서비스를 제공한 전체 사용자의 수 대비 서비스가 실제로 의도하는 행동을 취하는 사용자의 비율을 산출할 수 있다. 예를 들어, 서버(100)는 온라인 광고를 100명의 사용자들에게 화면 하단의 배너 광고로 제공하였는데, 2명의 사용자가 온라인 광고를 클릭한 경우, 전환율을 2%로 산출할 수 있다. 또한, 서버(100)는 온라인 쇼핑에 접속한 100명의 사용자들에게 화면 상단을 통해 메인 상품을 게시하였는데, 1명의 사용자가 이를 구매한 경우, 전환율을 1%로 산출할 수 있다.

S320 단계에서, 서버(100)는 S310 단계를 거쳐 산출된 제1 전환율과 제2 전환율의 차이 값이 기 설정된 기준값을 초과하는지 여부를 판단할 수 있다.

S330 단계에서, 서버(100)는 S320 단계를 거쳐 제1 전환율과 제2 전환율의 차이 값이 기 설정된 기준값을 초과하는 것으로 판단되는 경우 즉, 제1 전환율과 제2 전환율의 크기 차이가 일정 수준을 초과하는 것으로 판단되는 경우, 제2 서비스에 대한 이상징후가 있는 것으로 판단되는 바, 에이비 테스트가 종료와 관계없이 제2 서비스에 대한 롤백을 수행할 수 있다.

즉, 서버(100)는 제1 전환율과 제2 전환율의 차이가 기 설정된 기준값을 초과하는 경우 에이비 테스트가 종료와 관계없이 제2 서비스에 대한 롤백(Roll back)을 수행할 수 있다. 예를 들어, 서버(100)는 제1 서비스에 대한 제1 전환율이 90%이나, 제2 서비스에 대한 제2 전환율이 50% 이하로 떨어져 제1 전환율과 제2 전환율의 차이가 기 설정된 기준값(20%) 이상 차이가 나는 경우, 제1 서비스 대비 기능, 디자인 등이 개선된 제2 서비스가 적절하지 않은 것으로 판단되는 바, 제2 서비스를 롤백 즉, 제2 서비스를 제공하던 사용자들에게 다시 제1 서비스를 제공할 수 있다.

여기서, 서버(100)는 제1 서비스에 대한 제1 전환율과 제2 서비스에 대한 제2 전환율을 비교하여 롤백을 수행하는 것으로 설명하고 있으나, 이에 한정되지 않고, 제1 전환율 및 제2 전환율과 기 설정된 임계치를 이용하여 전환율이 임계치(예: 70% 미만) 이하로 떨어지는 이상징후를 감지할 수 있고, 이상징후 감지에 따라 어느 하나의 서비스에 대한 롤백을 수행할 수 있다.

S340 단계에서, 서버(100)는 에이비 테스트가 종료되었는지 여부를 판단할 수 있다. 예를 들어, 서버(100)는 해당 에이비 테스트를 생성하는 과정에서 사전에 설정된 테스트 기간이 만료되었는지 여부에 따라 에이비 테스트가 종료되었는지 여부를 판단할 수 있으나, 이에 한정되지 않는다.

S350 단계에서, 서버(100)는 에이비 테스트가 종료되는 것으로 판단되는 경우, 에이비 테스트에 대한 결과를 서비스 제공자에게 제공할 수 있다. 예를 들어, 서버(100)는 네트워크(400)를 통해 사용자 단말(200)(예: 제1 서비스 및 제2 서비스를 제공하는 서비스 제공자의 단말)과 연결될 수 있고, 사용자 단말(200)로 에이비 테스트에 대한 결과를 출력하는 UI(예: 도 15의 40)를 제공할 수 있다.

다양한 실시예에서, 서버(100)는 에이비 테스트에 대한 결과를 이미지화하여 제공할 수 있다. 예를 들어, 서버(100)는 각종 그래프 형식 또는 애니메이션 형식을 이용하여 에이비 테스트에 대한 결과를 시각화 및 이미지화하여 제공할 수 있다. 또한, 서버(100)는 에이비 테스트에 대한 결과 중 핵심 사항에 대해 하이라이트 처리한 그래픽 이미지로 제공할 수 있다.

다양한 실시예에서, 서버(100)는 제1 서비스에 대하여 산출된 제1 전환율 및 제2 서비스에 대하여 산출된 제2 전환율에 기초하여, 복수의 사용자에게 제1 서비스 및 상기 제2 서비스 중 어느 하나의 서비스만을 제공할 수 있다. 예를 들어, 서버(100)는 에이비 테스트를 수행하는 기간 동안 접속하는 사용자들 중 50%에 대해서는 제1 서비스를 제공하고, 나머지 50%에 대해서는 제2 서비스를 제공한 결과, 제1 서비스에 대한 제1 전환율이 1%이고 제2 서비스에 대한 제2 전환율이 3%인 경우, 에이비 테스트가 종료된 이후에는 전체 사용자에게 제2 서비스를 제공할 수 있다.

다양한 실시예에서, 서버(100)는 에이비 테스트를 수행하는 과정에서 복수의 사용자의 단말로부터 수집되는 로그 데이터를 이용하여 제1 서비스 또는 제2 서비스에 대한 이상징후를 감지할 수 있고, 감지된 이상징후에 대한 처리를 수행할 수 있다. 이하, 도 6을 참조하여 설명하도록 한다.

도 6은 다양한 실시예에서, 에이비 테스트에 대한 이상징후를 감지 및 처리 방법을 설명하기 위한 순서도이다.

S410 단계에서, 서버(100)는 복수의 사용자 단말(200)로부터 로그 데이터를 수집할 수 있다. 예를 들어, 서버(100)는 복수의 사용자가 자신의 단말을 통해 제1 서비스 또는 제2 서비스를 이용하는 경우, SDK를 통해 복수의 사용자 단말(200)로부터 발생되는 로그 데이터(예: 에러 로그 데이터, 앱 크래시 로그 데이터 등)을 복수의 사용자 단말(200) 각각에 대한 정보와 함께 자동으로 수집할 수 있다. 여기서, 서버(100)는 이상징후를 판단하기 위하여 로그 데이터를 수집하는 것으로 설명하고 있으나, 이에 한정되지 않고, 복수의 사용자 단말(200)로부터 수집되는 데이터는 로그 데이터뿐만 아니라 메시지(예: 팝업 메시지)를 더 포함할 수 있다.

다양한 실시예에서, 서버(100)는 복수의 사용자 단말로부터 수집된 로그 데이터 및 메시지를 실시간으로 시각화(visualized)하여 서비스 제공자에게 제공할 수 있고, 이를 통해 서비스 제공자는 여러 조건을 조합하여 확인하고자 하는 로그 데이터 및 메시지에 대한 정보를 확인할 수 있다.

일례로, 서버(100)는 서비스 제공자로부터 특정 검색어를 입력받음에 따라 특정 검색어가 포함된 메시지 및 로그 데이터만을 검색하여 서비스 제공자에게 제공할 수 있다.

또한, 서버(100)는 서비스 제공자로부터 특정 사용자 단말(200)을 선택받음에 따라 특정 사용자 단말(200)로부터 발생된 로그 데이터 및 메시지만을 선택하여 제공할 수 있다.

또한, 서버(100)는 복수의 사용자 단말(200)로부터 수집된 로그 데이터 및 메시지를 사용자 단말(200)에 대한 정보를 기준으로 정렬 및 그룹화하여 제공함으로써, 어떤 속성을 가진 사용자 단말(200)에서 로그 데이터 및 메시지가 많이 발생하는지에 대한 정보를 제공할 수 있다.

S420 단계에서, 서버(100)는 S410 단계를 거쳐 수집된 로그 데이터(에러 로그, 앱 크래쉬 로그) 및 메시지(팝업 메시지)와 기 설정된 룰(예: 이상징후 판단 룰)에 기초하여, 제1 서비스 또는 제2 서비스에 대한 이상징후를 판단할 수 있다. 예를 들어, 서버(100)는 제1 서비스 또는 제2 서비스에 대하여, 단위 기간(예: X분) 내에 로그 데이터 및 메시지 발생 건수가 기준 횟수(예: Y건) 이상인 경우, 제1 서비스 또는 제2 서비스에 대한 이상징후가 발생된 것으로 판단할 수 있다.

다양한 실시예에서, 서버(100)는 복수의 로그 데이터 및 메시지와 이상징후 발생 이력 데이터를 학습 데이터로 하여 머신러닝 기반의 학습 방법에 따라 인공지능 모델을 학습시킬 수 있으며, 학습된 인공지능 모델을 이용하여, S410 단계를 거쳐 수집된 로그 데이터(에러 로그, 앱 크래쉬 로그) 및 메시지(팝업 메시지)를 분석함으로써, 제1 서비스 또는 제2 서비스에 대한 이상징후를 판단할 수 있다.

S430 단계에서, 서버(100)는 S420 단계를 거쳐 제1 서비스 또는 제2 서비스에 대한 이상징후가 발생된 것으로 판단되는 경우, 사전에 설정된 이상징후별 행동 규칙에 따라 이상징후에 대한 처리를 수행할 수 있다.

다양한 실시예에서, 서버(100)는 제1 서비스 또는 제2 서비스에 대한 이상징후를 감지되는 경우, 감지된 이상징후에 대한 정보를 제공할 수 있다. 에를 들어, 서버(100)는 제1 서비스 또는 상기 제2 서비스에 대한 이상징후를 감지되는 경우, SMS, 이메일, 채팅 애플리케이션과 같은 수단을 이용하여 서비스 제공자에게 이상징후에 대한 정보를 제공할 수 있다.

다양한 실시예에서, 서버(100)는 제1 서비스 또는 제2 서비스에 대한 이상징후를 감지되는 경우, 이상징후가 발생된 제1 서비스 또는 제2 서비스에 대한 롤백을 수행할 수 있다.

다양한 실시예에서, 서버(100)는 제1 서비스 또는 제2 서비스에 대한 이상징후를 감지되는 경우, 이상징후가 발생된 제1 서비스 또는 제2 서비스를 이용한 사용자 단말(200)에 대한 트래픽을 차단할 수 있다.

즉, 서버(100)는 복수의 사용자 단말(200)로부터 수집된 정보(로그 데이터, 메시지)를 이용하여 제1 서비스 또는 제2 서비스에 대한 이상징후를 감지할 수 있고, 사전에 설정된 행동 규칙에 따라 이상징후에 대한 보다 빠른 대응을 수행함으로써, 제1 서비스 또는 제2 서비스에 대한 에러를 수정하거나 자동으로 롤백하여 시스템을 빠르게 정상화시킬 수 있다는 이점이 있다.

전술한 이상징후 관리가 가능한 에이비 테스트 제공방법은 도면에 도시된 순서도를 참조하여 설명하였다. 간단한 설명을 위해 이상징후 관리가 가능한 에이비 테스트 제공방법은 일련의 블록들로 도시하여 설명하였으나, 본 발명은 상기 블록들의 순서에 한정되지 않고, 몇몇 블록들은 본 명세서에 도시되고 시술된 것과 상이한 순서로 수행되거나 또는 동시에 수행될 수 있다. 또한, 본 명세서 및 도면에 기재되지 않은 새로운 블록이 추가되거나, 일부 블록이 삭제 또는 변경된 상태로 수행될 수 있다.

이상, 첨부된 도면을 참조로 하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야의 통상의 기술자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 제한적이 아닌 것으로 이해해야만 한다.

100 : 에이비 테스트 제공서버
200 : 사용자 단말
300 : 외부 서버
400 : 네트워크

Claims (14)

1. 컴퓨팅 장치에 의해 수행되는 방법에 있어서,
   제1 서비스와 제2 서비스에 대한 에이비 테스트(A/B Test)를 생성하는 단계;
   복수의 사용자가 상기 생성된 에이비 테스트를 통해 상기 제1 서비스 또는 상기 제2 서비스를 이용함에 따라 생성되는 인풋 데이터를 수집하는 단계; 및
   상기 수집된 인풋 데이터를 이용하여 상기 에이비 테스트에 대한 결과를 도출하는 단계를 포함하는,
   이상징후 관리가 가능한 에이비 테스트 제공방법.
2. 제1항에 있어서,
   상기 에이비 테스트를 생성하는 단계는,
   상기 제1 서비스 및 상기 제2 서비스 사이에 둘 이상의 차별화 포인트가 있는 경우, 상기 둘 이상의 차별화 포인트 각각에 대하여 개별적인 에이비 테스트를 생성하는 단계를 포함하는,
   이상징후 관리가 가능한 에이비 테스트 제공방법.
3. 제1항에 있어서,
   상기 에이비 테스트를 생성하는 단계는,
   상기 제1 서비스 및 상기 제2 서비스를 제공하는 서비스 제공자로부터 상기 생성된 에이비 테스트에 대한 노출범위를 설정받는 단계; 및
   상기 설정된 노출범위에 기초하여, 상기 복수의 사용자 중 상기 생성된 에이비 테스트를 제공할 사용자의 범위를 결정하는 단계를 포함하는,
   이상징후 관리가 가능한 에이비 테스트 제공방법.
4. 제3항에 있어서,
   상기 생성된 에이비 테스트를 제공할 사용자의 범위를 결정하는 단계는,
   상기 수집된 인풋 데이터 및 상기 도출된 결과에 따라 상기 설정된 노출범위를 변경하거나 또는 상기 서비스 제공자로부터 노출범위를 재설정받음에 따라 상기 설정된 노출범위를 변경하되, 상기 변경된 노출범위의 크기는 상기 설정된 노출범위보다 큰 값을 가지는 것인, 단계를 포함하는,
   이상징후 관리가 가능한 에이비 테스트 제공방법.
5. 제1항에 있어서,
   상기 에이비 테스트를 생성하는 단계는,
   SDK(Software development kit)와 연동하여 구현된 상기 제1 서비스 및 상기 제2 서비스에 대한 에이비 테스트를 생성하는 단계를 포함하고,
   상기 인풋 데이터를 수집하는 단계는,
   상기 SDK를 통해, 상기 제1 서비스 또는 상기 제2 서비스를 이용하는 상기 복수의 사용자에 관한 정보 및 상기 복수의 사용자 각각에 대한 고유 식별자를 상기 인풋 데이터로서 수집하는 단계를 포함하는,
   이상징후 관리가 가능한 에이비 테스트 제공방법.
6. 제1항에 있어서,
   상기 인풋 데이터를 수집하는 단계는,
   상기 복수의 사용자가 상기 제1 서비스 또는 상기 제2 서비스를 이용함에 따라 생성되는 복수의 인풋 데이터를 임시 저장 공간에 임시 저장하는 단계; 및
   기 설정된 주기마다 상기 임시 저장된 복수의 인풋 데이터를 저장 공간으로 전송하는 단계를 포함하는,
   이상징후 관리가 가능한 에이비 테스트 제공방법.
7. 제6항에 있어서,
   상기 임시 저장된 복수의 인풋 데이터를 저장 공간으로 전송하는 단계는,
   제1 신호가 출력됨에 따라 상기 제1 신호가 출력되기 이전에 상기 임시 저장된 복수의 인풋 데이터를 상기 저장 공간으로 전송하되, 상기 임시 저장된 복수의 인풋 데이터 중 상기 저장 공간으로 전송되지 못한 적어도 하나의 인풋 데이터를 재전송 대상으로 설정하는 단계; 및
   상기 제1 신호가 출력된 후 제2 신호가 출력됨에 따라 상기 제1 신호가 출력된 시점부터 상기 제2 신호가 출력된 시점까지 상기 임시 저장 공간에 저장된 복수의 인풋 데이터를 상기 저장 공간으로 전송하되, 상기 재전송 대상으로 설정된 적어도 하나의 인풋 데이터를 우선적으로 전송하는 단계를 포함하는,
   이상징후 관리가 가능한 에이비 테스트 제공방법.
8. 제6항에 있어서,
   상기 임시 저장 공간에 임시 저장하는 단계는,
   제1 사용자가 상기 제1 서비스 또는 상기 제2 서비스를 이용함에 따라 생성되는 복수의 제1 인풋 데이터를 임시 저장하는 단계를 포함하며,
   상기 임시 저장된 복수의 인풋 데이터를 저장 공간으로 전송하는 단계는,
   상기 임시 저장된 복수의 제1 인풋 데이터를 이용하여, 상기 제1 사용자가 이용 중인 서비스를 종료하는 것을 감지하는 단계; 및
   상기 제1 사용자가 이용 중인 서비스를 종료하는 것에 응답하여 상기 제1 사용자에 대한 종료 신호를 출력하고, 상기 출력된 종료 신호에 기초하여 상기 임시 저장된 복수의 제1 인풋 데이터를 상기 저장 공간으로 전송하는 단계를 포함하는,
   이상징후 관리가 가능한 에이비 테스트 제공방법.
9. 제8항에 있어서,
   상기 임시 저장된 하나 이상의 제1 인풋 데이터를 상기 저장 공간으로 전송하는 단계는,
   상기 임시 저장된 복수의 제1 인풋 데이터 중 상기 저장 공간으로 전송되지 못한 적어도 하나의 제1 인풋 데이터를 재전송 대상으로 설정하는 단계; 및
   상기 제1 사용자가 상기 제1 서비스 또는 상기 제2 서비스를 개시함에 따라 상기 재설정 대상으로 설정된 적어도 하나의 제1 인풋 데이터를 상기 저장 공간으로 전송하는 단계를 포함하는,
   이상징후 관리가 가능한 에이비 테스트 제공방법.
10. 제1항에 있어서,
    상기 에이비 테스트에 대한 결과를 도출하는 단계는,
    상기 제1 서비스를 이용하는 사용자들로부터 수집된 인풋 데이터를 이용하여 상기 에이비 테스트에 대한 결과로서 상기 제1 서비스에 대한 제1 전환율을 산출하고, 상기 제2 서비스를 이용하는 사용자들로부터 수집된 인풋 데이터를 이용하여 상기 에이비 테스트에 대한 결과로서 상기 제2 서비스에 대한 제2 전환율을 산출하는 단계; 및
    상기 산출된 제1 전환율 및 상기 산출된 제2 전환율에 기초하여, 상기 복수의 사용자에게 상기 제1 서비스 및 상기 제2 서비스 중 어느 하나의 서비스만을 제공하는 단계를 포함하는,
    이상징후 관리가 가능한 에이비 테스트 제공방법.
11. 제10항에 있어서,
    상기 제1 서비스 및 상기 제2 서비스 중 어느 하나의 서비스만을 제공하는 단계는,
    상기 에이비 테스트가 종료되는 경우, 상기 산출된 제1 전환율 및 상기 산출된 제2 전환율을 비교하여 상기 제1 서비스 및 상기 제2 서비스 중 어느 하나의 서비스만을 제공하되, 상기 산출된 제1 전환율과 상기 산출된 제2 전환율의 차이가 기 설정된 값을 초과하는 경우 상기 에이비 테스트가 종료와 관계없이 상기 제2 서비스에 대한 롤백(Roll back)을 수행하는 단계를 포함하는,
    이상징후 관리가 가능한 에이비 테스트 제공방법.
12. 제1항에 있어서,
    상기 복수의 사용자의 단말로부터 수집되는 로그 데이터를 이용하여 상기 제1 서비스 또는 상기 제2 서비스에 대한 이상징후를 감지하는 단계; 및
    상기 제1 서비스 또는 상기 제2 서비스에 대한 이상징후를 감지되는 경우, 기 설정된 룰에 따라 상기 감지된 이상징후에 대한 정보를 제공하거나, 상기 이상징후가 감지된 제1 서비스 또는 제2 서비스에 대한 롤백을 수행하거나 또는 상기 이상징후가 감지된 제1 서비스 또는 제2 서비스를 이용하는 사용자의 단말에 대한 트래픽을 차단하는 단계를 더 포함하는,
    이상징후 관리가 가능한 에이비 테스트 제공방법.
13. 프로세서;
    네트워크 인터페이스;
    메모리; 및
    상기 메모리에 로드(load)되고, 상기 프로세서에 의해 실행되는 컴퓨터 프로그램을 포함하되,
    상기 컴퓨터 프로그램은,
    제1 서비스와 제2 서비스에 대한 에이비 테스트(A/B Test)를 생성하는 인스트럭션(instruction);
    복수의 사용자가 상기 생성된 에이비 테스트를 통해 상기 제1 서비스 또는 상기 제2 서비스를 이용함에 따라 생성되는 인풋 데이터를 수집하는 인스트럭션; 및
    상기 수집된 인풋 데이터를 이용하여 상기 에이비 테스트에 대한 결과를 도출하는 인스트럭션을 포함하는,
    이상징후 관리가 가능한 에이비 테스트 제공서버.
14. 컴퓨팅 장치와 결합되어,
    제1 서비스와 제2 서비스에 대한 에이비 테스트(A/B Test)를 생성하는 단계;
    복수의 사용자가 상기 생성된 에이비 테스트를 통해 상기 제1 서비스 또는 상기 제2 서비스를 이용함에 따라 생성되는 인풋 데이터를 수집하는 단계; 및
    상기 수집된 인풋 데이터를 이용하여 상기 에이비 테스트에 대한 결과를 도출하는 단계를 실행시키기 위하여 컴퓨터로 판독가능한 기록매체에 저장된,
    컴퓨터로 읽을 수 있는 기록매체에 기록된 컴퓨터프로그램.