KR102519008B1 - 디지털 서비스 기반 대기열 사용자의 ab 테스트를 진행하기 위한 진입 관리 서버, 방법 - Google Patents

Abstract

본 개시는 디지털 서비스 기반 대기열 사용자의 AB 테스트를 진행하기 위한 진입 관리 서버에 있어서, 서비스 서버 및 상기 서비스 서버로의 진입을 요청하는 사용자의 단말기와 통신을 수행하는 통신부; 및 상기 대기열 사용자의 AB 테스트의 진행과 관련된 동작을 제어하는 프로세서; 를 포함하고, 상기 프로세서는, 상기 사용자의 단말기로부터 EUM(End User Monitoring) 정보를 수신받고, 상기 EUM 정보를 기반으로 접속 요청의 수준을 판단하며, 상기 접속 요청의 수준이 기 설정된 수준보다 많을 경우, 기 설정된 접속 허용 순번에 도달한 대기열 상태에 있는 해당 사용자의 단말기들을 확인하고, 상기 해당 사용자의 단말기들을 진입 조건 별 대기 상태에 따라 그룹화하여 분류하며, 상기 그룹화하여 분류된 해당 사용자의 단말기들에 대해 AB 테스트를 진행하는 것을 특징으로 할 수 있다.

Description

디지털 서비스 기반 대기열 사용자의 AB 테스트를 진행하기 위한 진입 관리 서버, 방법{ENTRY MANAGEMENT SERVER FOR PROGRESSING AB TEST OF QUEUE USERS BASED ON DIGITAL SERVICE, METHOD}

본 개시는 대기열 사용자의 AB 테스트를 진행하기 위한 서버에 관한 것이다. 보다 상세하게는, 본 개시는 디지털 서비스 기반 대기열 사용자의 AB 테스트를 진행하기 위한 진입 관리 서버, 방법에 관한 것이다.

수강신청, 콘서트 예약 및 구매 이벤트 등의 콘텐츠 서비스를 제공하는 서비스 서버의 동시 접속자가 증가함에 따라, 콘텐츠 서비스를 제공하는 서비스 서버측의 응답속도가 저하되거나 서비스가 중단되는 등의 상황이 종종 발생하고 있는 실정이다.

시스템은 HTML(hypertext markup language)로 구성된 웹 페이지를 제공하는 WEB, WEB으로부터 전달된 요청 메시지에 대한 응용 프로그램 서비스를 처리하는 WAS(web application server) 및 쿼리문에 대한 응답으로 제공할 수 있는 데이터를 저장하는 데이터베이스로 구성될 수 있다.

상술한 시스템에서, 동시 접속자가 폭주하는 경우, WEB은 네트워크 대역폭 부족으로 인해 응답시간이 지연되는 현상이 발생할 수 있다.

최근에는, 접속요청이 폭주하는 상황에서, 대기열 상태에 있는 해당 사용자의 단말기들에게 대기 상태에 따른 사용자의 서비스 만족도를 향상시키기 위한 연구가 지속적으로 행해져 오고 있다.

대한민국 등록특허공보 제10-1654266호 (2016. 08. 30.)

본 개시에 개시된 실시예는, 접속요청이 폭주하는 상황에서, 대기열 상태에 있는 해당 사용자의 단말기들에게 AB 테스트를 진행하여, 대기 상태에 따른 사용자의 서비스 만족도를 향상시킬 수 있는 것을 제공하는데 그 목적이 있다.

본 개시가 해결하고자 하는 과제들은 이상에서 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

상술한 기술적 과제를 달성하기 위한 본 개시의 일 측면에 따른 디지털 서비스 기반 대기열 사용자의 AB 테스트를 진행하기 위한 진입 관리 서버는, 서비스 서버 및 상기 서비스 서버로의 진입을 요청하는 사용자의 단말기와 통신을 수행하는 통신부; 및 상기 대기열 사용자의 AB 테스트의 진행과 관련된 동작을 제어하는 프로세서; 를 포함하고, 상기 프로세서는, 상기 사용자의 단말기로부터 EUM(End User Monitoring) 정보를 수신받고, 상기 EUM 정보를 기반으로 접속 요청의 수준을 판단하며, 상기 접속 요청의 수준이 기 설정된 수준보다 많을 경우, 기 설정된 접속 허용 순번에 도달한 대기열 상태에 있는 해당 사용자의 단말기들을 확인하고, 상기 해당 사용자의 단말기들을 진입 조건 별 대기 상태에 따라 그룹화하여 분류하며, 상기 그룹화하여 분류된 해당 사용자의 단말기들에 대해 AB 테스트를 진행하는 것을 특징으로 할 수 있다.

또한, 상기 프로세서는, 상기 AB 테스트를 진행한 해당 사용자의 단말기들에게 AB 테스트 진행 별 맞춤 보상 서비스를 더 제공하는 것을 특징으로 할 수 있다.

또한, 상기 프로세서는, 상기 EUM 정보를 기반으로, 상기 해당 사용자의 단말기들을 접속 대기열 시간 별로 그룹화하여 분류하는 것을 특징으로 할 수 있다.

또한, 상기 프로세서는, 상기 EUM 정보를 기반으로, 상기 해당 사용자의 단말기들을 웹 페이지 응답 시간 별로 그룹화하여 분류하는 것을 특징으로 할 수 있다.

또한, 상기 프로세서는, 상기 해당 사용자의 단말기들이 발생한 해당 웹 페이지 내의 이벤트 데이터를 더 수집하고, 상기 이벤트 데이터를 기반으로, 상기 해당 사용자의 단말기들의 행동 데이터에 해당하는 구매율의 변화량과 전환율의 변화량 및 이탈율의 변화량 중 적어도 하나를 분석하는 것을 특징으로 할 수 있다.

또한, 본 개시의 다른 측면에 따른 진입 관리 서버에 의해 수행되는 디지털 서비스 기반 대기열 사용자의 AB 테스트 진행 방법은, 서비스 서버로의 진입을 요청하는 사용자의 단말기로부터 EUM(End User Monitoring) 정보를 수신받는 단계; 상기 EUM 정보를 기반으로 접속 요청의 수준을 판단하는 단계; 상기 접속 요청의 수준이 기 설정된 수준보다 많을 경우, 기 설정된 접속 허용 순번에 도달한 대기열 상태에 있는 해당 사용자의 단말기들을 확인하는 단계; 상기 해당 사용자의 단말기들을 진입 조건 별 대기 상태에 따라 그룹화하여 분류하는 단계; 및 상기 그룹화하여 분류된 해당 사용자의 단말기들에 대해 AB 테스트를 진행하는 단계; 를 포함할 수 있다.

또한, 상기 AB 테스트를 진행한 해당 사용자의 단말기들에게 AB 테스트 진행 별 맞춤 보상 서비스를 제공하는 단계; 를 더 포함할 수 있다.

또한, 상기 분류 단계는, 상기 EUM 정보를 기반으로, 상기 해당 사용자의 단말기들을 접속 대기열 시간 별로 그룹화하여 분류하는 것을 특징으로 할 수 있다.

또한, 상기 분류 단계는, 상기 EUM 정보를 기반으로, 상기 해당 사용자의 단말기들을 웹 페이지 응답 시간 별로 그룹화하여 분류하는 것을 특징으로 할 수 있다.

또한, 상기 해당 사용자의 단말기들이 발생한 해당 웹 페이지 내의 이벤트 데이터를 수집하는 단계; 를 더 포함하고, 상기 이벤트 데이터를 분석하는 단계; 를 더 포함하며, 상기 분석 단계는, 상기 이벤트 데이터를 기반으로, 상기 해당 사용자의 단말기들의 행동 데이터에 해당하는 구매율의 변화량과 전환율의 변화량 및 이탈율의 변화량 중 적어도 하나를 분석하는 것을 특징으로 할 수 있다.

또한, 상기 제공 단계는, 상기 해당 사용자의 단말기들에게 상기 AB 테스트 진행을 완료한 대가에 상응하는 AB 테스트 진행 별 보상 상품을 제공하는 것을 특징으로 할 수 있다.

이 외에도, 본 개시를 구현하기 위한 실행하기 위한 컴퓨터 판독 가능한 기록 매체에 저장된 컴퓨터 프로그램이 더 제공될 수 있다.

이 외에도, 본 개시를 구현하기 위한 방법을 실행하기 위한 컴퓨터 프로그램을 기록하는 컴퓨터 판독 가능한 기록 매체가 더 제공될 수 있다.

본 개시의 전술한 과제 해결 수단에 의하면, 접속요청이 폭주하는 상황에서, 대기열 상태에 있는 해당 사용자의 단말기들에게 AB 테스트를 진행하여, 대기 상태에 따른 사용자의 서비스 만족도를 향상시킬 수 있는 효과를 제공한다.

본 개시의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

도 1은 본 개시에 따른 진입 관리 서버가 사용자의 단말기 및 서비스 서버에 연결된 상태를 나타낸 도면이다.
도 2는 도 1에 도시한 진입 관리 서버의 구성을 나타낸 도면이다.
도 3 및 도 4는 본 개시에 따른 대기열 사용자의 AB 테스트 진행 방법을 나타낸 순서도들이다.
도 5는 도 1의 사용자의 단말기로부터 수신된 EUM 정보를 일 예로 나타낸 도면이다.
도 6은 도 2의 프로세서를 통해 수집된 이벤트 데이터를 기반으로 해당 사용자의 단말기들의 행동 데이터를 분석하는 과정을 일 예로 나타낸 도면이다.

본 개시 전체에 걸쳐 동일 참조 부호는 동일 구성요소를 지칭한다. 본 개시가 실시예들의 모든 요소들을 설명하는 것은 아니며, 본 개시가 속하는 기술분야에서 일반적인 내용 또는 실시예들 간에 중복되는 내용은 생략한다. 명세서에서 사용되는‘부, 모듈, 부재, 블록’이라는 용어는 소프트웨어 또는 하드웨어로 구현될 수 있으며, 실시예들에 따라 복수의 '부, 모듈, 부재, 블록'이 하나의 구성요소로 구현되거나, 하나의 '부, 모듈, 부재, 블록'이 복수의 구성요소들을 포함하는 것도 가능하다.

명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 직접적으로 연결되어 있는 경우뿐 아니라, 간접적으로 연결되어 있는 경우를 포함하고, 간접적인 연결은 무선 통신망을 통해 연결되는 것을 포함한다.

또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.

명세서 전체에서, 어떤 부재가 다른 부재 "상에" 위치하고 있다고 할 때, 이는 어떤 부재가 다른 부재에 접해 있는 경우뿐 아니라 두 부재 사이에 또 다른 부재가 존재하는 경우도 포함한다.

제 1, 제 2 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위해 사용되는 것으로, 구성요소가 전술된 용어들에 의해 제한되는 것은 아니다.

단수의 표현은 문맥상 명백하게 예외가 있지 않는 한, 복수의 표현을 포함한다.

각 단계들에 있어 식별부호는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 설명하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 실시될 수 있다.

AB 테스트는 제품의 완성도를 높이고, 제품과 사용자의 적합성을 검증하기 위한 목적으로 수행한다. 디지털 마케팅을 하다 보면 서비스나 마케팅 캠페인을 기획할 때, 버튼을 어디에 배치하면 좋을지, 어떤 사진을 쓰면 좋을지 등을 놓고 고민하는 경우가 무수히 많다. 과거 오프라인 마케팅이나 오프라인 리테일에서는 경험적 지식이나 시간대를 나눠 전후 비교, 설문 등 추정을 통해서만 성과를 비교할 수 있었지만, 디지털 시대에는 브라우저 쿠키 등을 통해 전체 사용자들을 대상으로 성과를 비교할 수 있다. 즉, AB 테스트는 온라인으로 접속한 사용자를 임의로 여러 개 그룹으로 분리하고, 각 사용자 그룹에게 서로 다른 사용자 인터페이스(UI) 또는 알고리즘을 노출시킴으로써, 여러 안 중 가장 효과가 좋은 안을 찾아내는 것을 말한다.

일반적인, AB 테스트는 난수 생성과 같이 무작위로 또는 특정한 분류기준에 따라 사용자를 분류하고, 분류된 사용자를 A 또는 B로 분기하여 사용자의 행동데이터를 수집하고 분석하였다. 통계적으로 의미 있는 분석데이터를 수집하기 위해서는, 동일 조건 하에서 A와 B를 유사 빈도로 노출할 필요가 있기 때문에, 분류기준을 다각화하기 어려웠다.

따라서, 본 개시에서는, 해당 사용자의 단말기들을 진입 조건 별 대기 상태에 따라 그룹화하여 분류하고, 그룹화하여 분류된 해당 사용자의 단말기들에 대해 AB 테스트를 진행하여, 대기 상태에 따른 사용자의 서비스 만족도를 향상시킬 수 있도록 제공한다.

이하 첨부된 도면들을 참고하여 본 개시의 작용 원리 및 실시예들에 대해 설명한다.

본 명세서에서 본 개시에 따른 진입 관리 서버는 연산처리를 수행하여 사용자에게 결과를 제공할 수 있는 다양한 장치들이 모두 포함된다. 예를 들어, 본 개시에 따른 진입 관리 서버는, 컴퓨터, 서버 장치 및 휴대용 단말기를 모두 포함하거나, 또는 어느 하나의 형태가 될 수 있다.

여기에서, 상기 컴퓨터는 예를 들어, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(desktop), 랩톱(laptop), 태블릿 PC, 슬레이트 PC 등을 포함할 수 있다.

상기 서버 장치는 외부 장치와 통신을 수행하여 정보를 처리하는 서버로써, 애플리케이션 서버, 컴퓨팅 서버, 데이터베이스 서버, 파일 서버, 프록시 서버 및 웹 서버 등을 포함할 수 있다.

상기 휴대용 단말기는 예를 들어, 휴대성과 이동성이 보장되는 무선 통신 장치로서, PCS(Personal Communication System), GSM(Global System for Mobile communications), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), WiBro(Wireless Broadband Internet) 단말, 스마트 폰(Smart Phone) 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치와 시계, 반지, 팔찌, 발찌, 목걸이, 안경, 콘택트 렌즈, 또는 머리 착용형 장치(head-mounted-device(HMD) 등과 같은 웨어러블 장치를 포함할 수 있다.

본 개시에 따른 대기열 사용자의 AB 테스트를 진행하기 위한 진입 관리 서버는, 사용자의 단말기로부터 EUM(End User Monitoring) 정보를 수신받고, EUM 정보를 기반으로 접속 요청의 수준을 판단하며, 접속 요청의 수준이 기 설정된 수준보다 많을 경우, 기 설정된 접속 허용 순번에 도달한 대기열 상태에 있는 해당 사용자의 단말기들을 확인하고, 해당 사용자의 단말기들을 진입 조건 별 대기 상태에 따라 그룹화하여 분류하며, 그룹화하여 분류된 해당 사용자의 단말기들에 대해 AB 테스트를 진행할 수 있다.

이러한, 대기열 사용자의 AB 테스트를 진행하기 위한 진입 관리 서버는, 접속요청이 폭주하는 상황에서, 대기열 상태에 있는 해당 사용자의 단말기들에게 AB 테스트를 진행하여, 대기 상태에 따른 사용자의 서비스 만족도를 향상시킬 수 있다.

이하에서는, 디지털 서비스 기반 대기열 사용자의 AB 테스트를 진행하기 위한 진입 관리 서버를 자세하게 살펴보기로 한다.

도 1은 본 개시에 따른 진입 관리 서버가 사용자의 단말기 및 서비스 서버에 연결된 상태를 나타낸 도면이다.

도 1을 참조하면, 진입 관리 서버(100)는 사용자의 단말기(End-User(Browser))(200)와 서비스 서버(300) 사이에 위치하여, 사용자의 단말기(200)의 서비스 서버(300)로의 진입을 관리할 수 있다. 이때, 사용자의 단말기(200)는 복수개일 수 있고, 엔드 유저(end-user)의 단말기를 의미할 수 있다. 이하에서 개시하는 엔드 유저는 사용자의 단말기(200)와 동일한 의미일 수 있다.

진입 관리 서버(100)는 서비스 서버(300)로의 진입을 요청하는 사용자의 단말기(200)에 대해 차단, 우회 및 진입 허용 관리의 절차를 수행할 수 있다.

상기 차단은 초당 접근 수가 매크로 수준(예를 들어, 1초에 NN번 클릭 등)인 경우, 차단 정보를 사용자의 단말기(200)로 전송하여 특정 액션을 발생시키는 버튼(예를 들어, 제출 및 확인 등)을 선택하지 못하도록 차단하는 절차를 의미할 수 있다.

상기 우회는 서비스 서버(300)로의 진입을 대기하기 위한 대기열이 발생한 상태여도 특정한 정책이나 주요 클라이언트인 경우, 대기열에 대기하지 않고 서비스 서버(300)로 바로 진입하도록 우회시키는 절차를 의미할 수 있다.

상기 진입 허용 관리는 서비스 서버(300)로의 진입을 위한 정상적인 대기 관리를 의미하는 것으로서, 진입 허용 수를 기초로 진입을 제어하여 콘텐츠 서비스를 제공하는 서비스 서버(300)의 리소스 또는 상태를 관리하는 절차를 의미할 수 있다.

이때, 진입 허용 수는 진입 관리 서버(100)의 키(key)를 발급받아 해당 시간에 서비스 서버(300)의 특정 트랜잭션(예를 들어, 로그인 버튼, 수강 신청 버튼 등)에 동시 진입이 가능한 사용자 수를 의미할 수 있다. 이때, 사용자 수는 실질적으로 사용자의 단말기(200)를 통해 서비스 서버(300)로 진입할 수 있는 사용자의 단말기(200) 수를 의미할 수 있다.

서비스 서버(300)는 웹(web) 서버, 웹 애플리케이션 서버(web application server, 이하, WAS라고 하기로 함) 및 데이터베이스(DB)를 포함할 수 있다. 이때, 데이터베이스는 데이터베이스 관리 시스템(database management system, DBMS)이라 하는 것도 가능하다.

여기에서, 서비스 서버(300)는 서비스 서버 정보를 포함할 수 있다. 이때, 서비스 서버 정보는 서비스 서버(300)의 WAS(web application server)를 모니터링하는 APM(application performance management)으로부터 수집된 정보일 수 있다. 구체적으로, 서비스 서버 정보는 CPU 정보, 메모리정보, 디스크 정보, 네트워크 정보, 처리량, 쓰레드 수, 응답시간, 동시단말 사용자, 액티스 서비스, 액티브 사용자, 에러율, 거부율, 시간당 히트(hit) 수, 시간당 방문자수, 일별 히트(hit) 수, 일별 방문자 수, 사용자사 WAS 현황, JDBC(java database connectivity) 유휴, JDBC 할당, JDBC 활성, 총 JVM(java virtual machine) 메모리 및 JVM 메모리 사용량 중 적어도 하나 이상을 포함할 수 있다.

웹 서버는 HTTP(hypertext transfer protocol) 프로토콜을 기반으로 웹 브라우저 또는 웹 크롤러와 같은 클라이언트의 요청을 주로 처리하는 서버를 의미하는 것으로, HTTP 요청(request)을 수신하면 이에 대한 HTTP 응답(response)을 회신할 수 있다.

예를 들어, 웹 서버는 파일 경로 이름을 수신하여 경로와 일치하는 정적(static)인 형태의 파일 콘텐츠(html, jpeg, css 등)를 반환할 수 있다.

웹 서버는 동적인 컨텐츠 제공을 위한 요청을 WAS로 전달하고, 이에 대한 처리 결과를 WAS로부터 수신하여 클라이언트에게 전달할 수 있다.

WAS는 HTTP를 이용한 애플리케이션 서버를 의미하는 것으로, 정적인 HTTP 데이터 처리에 특화된 웹 서버에 동적인 데이터를 이용할 수 있도록 하는 컨테이너(container)를 포함할 수 있다.

WAS는 데이터베이스 조회나 다양한 로직 처리를 요구하는 동적인 컨텐츠를 제공하기 위한 애플리케이션 서버일 수 있다. 상기, WAS는 HTTP를 통해 컴퓨터나 장치에 애플리케이션을 수행하여 주는 미들웨어(소프트웨어 엔진)일 수 있다. WAS는 웹 컨테이너(web container) 또는 서블릿 컨테이너(servlet container)라고 명명하는 것도 가능하다. 이때, 컨테이너는 JSP 및 Servlet을 실행시킬 수 있는 소프트웨어를 의미할 수 있다.

WAS는 분산 트랜잭션, 보안, 메시징, 스레드 처리 등의 기능을 처리하는 분산 환경에서 적용될 수 있다.

구체적으로, WAS는 프로그램 실행 환경과 데이터베이스의 접속 기능 및 다수의 트랜잭션 관리 기능을 구현할 수 있다. 상기 트랜잭션은 논리적인 작업 단위를 의미할 수 있다.

WAS는 사용자의 요청에 따라 데이터베이스로부터 해당 데이터를 수신하여, 비즈니스 로직에 맞게 실시간으로 결과를 생성하여 제공할 수 있다. 상기 WAS는 복수 개로 구현될 수 있으며, 각 서비스 서버(300)마다 적용하는 WAS의 개수가 상이할 수 있다.

데이터베이스는 데이터를 저장 및 관리하는 구성을 의미할 수 있다. 이때, 데이터베이스는 WAS의 요청에 따라 해당 데이터를 회신할 수 있다.

도 2는 도 1에 도시한 진입 관리 서버의 구성을 나타낸 도면이다.

도 2를 참조하면, 진입 관리 서버(100)는 프로세서(110)와 메모리(120) 및 통신부(130)를 포함할 수 있다.

먼저, 통신부(130)는 사용자의 단말기(200) 및 서비스 서버(300)와 통신을 수행할 수 있다. 여기에서, 통신부(130)는 서비스 서버(300) 및 서비스 서버(300)로의 진입을 요청하는 사용자의 단말기(200)와 통신을 수행할 수 있다. 이때, 통신부(130)는 유선 통신 모듈과 무선 통신 모듈 중 적어도 하나를 포함할 수 있다.

유선 통신 모듈은 지역 통신(Local Area Network; LAN) 모듈, 광역 통신(Wide Area Network; WAN) 모듈 또는 부가가치 통신(Value Added Network; VAN) 모듈 등 다양한 유선 통신 모듈뿐만 아니라, USB(Universal Serial Bus), HDMI(High Definition Multimedia Interface), DVI(Digital Visual Interface), RS-232(recommended standard232), 전력선 통신, 또는 POTS(plain old telephone service) 등 다양한 케이블 통신 모듈을 포함할 수 있다.

무선 통신 모듈은 와이파이(Wifi) 모듈, 와이브로(Wireless broadband) 모듈 외에도, GSM(global System for Mobile Communication), CDMA(Code Division Multiple Access), WCDMA(Wideband Code Division Multiple Access), UMTS(universal mobile telecommunications system), TDMA(Time Division Multiple Access), LTE(Long Term Evolution), 4G, 5G, 6G 등 다양한 무선 통신 방식을 지원하는 무선 통신 모듈을 포함할 수 있다.

통신부(130)는 사용자의 단말기(200)로부터 EUM(End User Monitoring) 정보를 수신받을 수 있다. 여기에서, EUM 정보는 사용자 환경의 분석 정보로써, 접속 대기열 시간, ApDex, 웹 페이지 호출 건수, 웹 페이지 응답 시간, 에러, 유입 채널(어느 사이트를 통해서 들어왔는지), OS정보(Window/IOS, 각OS의 버전), 브라우저 정보(safari, android, edge, chrome, explorer), IP 주소(접속한 국가, 도시), 기기 정보(아이폰, 모바일, 피씨) 등을 포함할 수 있다. 또한, EUM 정보는 실제 사용자 수 기반의 서비스 현황 정보, 사용자 환경 분석 정보 및 사용자 체감 성능 분석 정보를 포함할 수 있다.

이때, 실제 사용자 수 기반의 서비스 현황 정보는 진입 관리 서버(100) 자체에서 획득 가능하거나, 또는 서비스 서버(300)로부터 수집할 수 있다. 여기에서, 진입 관리 서버(100)에서의 상태 정보 수집을 위한 모니터링은 프로세서(110)가 다양한 환경을 지원하는 직관적인 웹 기반 GUI(graphical user interface) 모니터링 툴을 통해 수행할 수 있으며, 이에 한정되지 않는다. 또한, 실제 사용자 수 기반의 서비스 현황 정보는, 서비스 서버(300) 내 사용자 트래픽의 증감 경향 및 이벤트 발생 시 동시접속 사용자, 및 진입 관리 서버(100) 내 대기열 사용자 수, 대기 시간, 시스템 진입량, 자원사용량, 완료량, 처리시간, 평상 시 사용자 이용수(monthly active user), 이벤트 발생 예정 시각, 이벤트 발생 시 접속 예상 사용자 수 및 이벤트에 할당된 유저 허용 수 중 적어도 하나 이상을 포함할 수 있다. 예를 들어, 이벤트는 선착순 드로우, 수강신청, 티켓예매 등을 포함할 수 있다.

또한, 사용자 환경 분석 정보는 사용자 접속 환경 관련 정보로서, 위치정보(location), OS정보, 디바이스 정보, 브라우저 정보 및 애플리케이션 정보를 포함하는 사용자 접속 환경 관련 정보(access 정보), 및 최종 사용자의 서비스 유입 경로 정보(inflow 정보) 중 적어도 하나를 포함할 수 있다. 이때, 위치정보는 국가, 시, 도, 위도, 경도 및 IP 주소 등을 포함할 수 있다. 예를 들어, 사용자 단말기(200)의 접속 위치가 한국이고, 서비스 서버(300)의 위치가 미국인 경우, 서로 간의 이격 거리가 상대적으로 원거리이기 때문에, 데이터 패킷 전송 거리가 상대적으로 길어지게 되어 인터넷 속도가 저하될 수 있다. 본 개시의 프로세서(110)는 진입 관리 기능을 제어할 때 상술한 사용자 단말기(200)의 사용자 접속 환경 관련 정보도 고려할 수 있다. 또한, OS 정보는 이름, 버전 및 아키텍쳐 등을 포함할 수 있으며, 디바이스 정보는 이름, 버전, 통신사 정보 등을 포함할 수 있고, 브라우저 정보 및 애플리케이션 정보는 각각 이름 및 버전 등을 포함할 수 있다.

이때, 최종 사용자의 서비스 유입 경로 정보는 유입 이전 사이트의 URL로 확인이 가능하며, 서비스 사용자의 유입 동기 등을 수집하여 마케팅이 적절하게 이루어졌는지 여부를 검토할 수 있다. 즉, 프로세서(110)는 최종 사용자의 서비스 유입 경로 정보를 기반으로 특정 경로로의 마케팅 투자 대비 사용자 유입 비율을 산출할 수 있고, 이를 이용하여 마케팅 적절도를 산출할 수 있다.

또한, 사용자 체감 성능 분석 정보는, 작업 단계별 사용자 체감 응답시간(load performance) 및 애플리케이션 성능 지표(application performance index, ApDex) 중 적어도 하나를 포함할 수 있다.

메모리(120)는 본 장치 내의 구성요소들의 동작을 제어하기 위한 알고리즘 또는 알고리즘을 재현한 프로그램에 대한 데이터를 저장할 수 있다. 프로세서(110)는 메모리(120)와 통신을 수행하고, 메모리(120)에 저장된 데이터를 이용하여 전술한 동작을 수행할 수 있다. 이때, 프로세서(110)는 대기열 사용자의 AB 테스트의 진행과 관련된 동작을 제어할 수 있다. 여기에서, 프로세서(110)와 메모리(120)는 각각 별개의 칩으로 구현될 수 있다. 또한, 프로세서(110)와 메모리(120)는 단일 칩으로 구현될 수도 있다.

메모리(120)는 본 장치의 다양한 기능을 지원하는 데이터와, 본 장치 내의 구성요소들의 동작을 위한 프로그램을 저장할 수 있고, 입/출력되는 데이터들을 저장할 있고, 본 장치에서 구동되는 다수의 응용 프로그램(application program 또는 애플리케이션(application)), 본 장치의 동작을 위한 데이터들, 명령어들을 저장할 수 있다. 이러한 응용 프로그램 중 적어도 일부는, 무선 통신을 통해 외부 서버로부터 다운로드 될 수 있다.

이러한, 메모리(120)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), SSD 타입(Solid State Disk type), SDD 타입(Silicon Disk Drive type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(random access memory; RAM), SRAM(static random access memory), 롬(read-only memory; ROM), EEPROM(electrically erasable programmable read-only memory), PROM(programmable read-only memory), 자기 메모리, 자기 디스크 및 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.

메모리(120)는 대기열 사용자의 AB 테스트의 진행과 관련된 데이터를 저장할 수 있다. 프로세서(110)는 통신부(130)를 통해 사용자의 단말기(200)로부터 EUM(End User Monitoring) 정보를 수신받을 수 있다.

프로세서(110)는 EUM 정보를 기반으로 접속 요청의 수준을 판단할 수 있다. 이때, 프로세서(110)는 접속 요청의 수준이 기 설정된 수준보다 많을 경우, 기 설정된 접속 허용 순번에 도달한 대기열 상태에 있는 해당 사용자의 단말기들(200)을 확인할 수 있다.

프로세서(110)는 해당 사용자의 단말기들(200)을 진입 조건 별 대기 상태에 따라 그룹화하여 분류하며, 그룹화하여 분류된 해당 사용자의 단말기들(200)에 대해 AB 테스트를 진행할 수 있다. 예를 들어, 프로세서(110)는 EUM 정보를 기반으로, 해당 사용자의 단말기들(200)을 접속 대기열 시간 별로 그룹화하여 분류할 수 있다. 다른 예를 들어, 프로세서(110)는 EUM 정보를 기반으로, 해당 사용자의 단말기들을 웹 페이지 응답 시간 별로 그룹화하여 분류할 수 있다.

프로세서(110)는 AB 테스트를 진행한 해당 사용자의 단말기들(200)에게 AB 테스트 진행 별 맞춤 보상 서비스를 제공할 수 있다. 이때, 프로세서(110)는 해당 사용자의 단말기들(200)에게 AB 테스트 진행을 완료한 대가에 상응하는 AB 테스트 진행 별 보상 상품을 제공할 수 있다.

프로세서(110)는 해당 사용자의 단말기들(200)이 발생한 해당 웹 페이지 내의 이벤트 데이터를 더 수집할 수도 있다. 여기에서, 프로세서(110)는 이벤트 데이터를 더 분석할 수도 있다. 이때, 프로세서(110)는 이벤트 데이터를 기반으로, 해당 사용자의 단말기들(200)의 행동 데이터에 해당하는 구매율의 변화량과 전환율의 변화량 및 이탈율의 변화량 중 적어도 하나를 분석할 수도 있다.

도 3 및 도 4는 본 개시에 따른 디지털 서비스 기반 대기열 사용자의 AB 테스트 진행 방법을 나타낸 순서도들이다.

도 5는 도 1의 사용자의 단말기로부터 수신된 EUM 정보를 일 예로 나타낸 도면이다. 도 6은 도 2의 프로세서를 통해 수집된 이벤트 데이터를 기반으로 해당 사용자의 단말기들의 행동 데이터를 분석하는 과정을 일 예로 나타낸 도면이다.

도 3 내지 도 6을 참조하면, 대기열 사용자의 AB 테스트 진행 방법은, 수신 단계(S310), 판단 단계(S320), 확인 단계(S330), 분류 단계(S340), 진행 단계(S350), 제공 단계(S360), 수집 단계(S370), 분석 단계(S380), 변경 단계(S390)를 포함할 수 있다.

수신 단계는, 통신부(130)를 통해, 사용자의 단말기(200)로부터 EUM(End User Monitoring) 정보를 수신받을 수 있다(S310).

예를 들어, 도 5에 도시된 바와 같이 EUM 정보는, 사용자에 대한 각각의 국가별 접속 위치 정보, 해당 국가의 도시별 접속 위치 정보, 각각의 웹 브라우저 별 웹 페이지 호출 정보, 각각의 웹 브라우저 별 웹 페이지 응답 시간 정보, 각각의 웹 브라우저 별 APDEX(Application Performance Index, 애플리케이션 성능 지표) 정보 중 적어도 하나를 포함할 수 있다. 여기에서, 프로세서(110)는 사용자에 대한 각각의 국가별 접속 위치 정보, 해당 국가의 도시별 접속 위치 정보, 각각의 웹 브라우저 별 웹 페이지 호출 정보, 각각의 웹 브라우저 별 웹 페이지 응답 시간 정보, 각각의 웹 브라우저 별 APDEX 정보 중 적어도 하나를 기반으로 접속 요청의 수준을 판단할 수 있다. 이때, APDEX는 제공되는 웹 서비스에 대해 사용자 만족도를 측정하는 표준 지표일 수 있다.

판단 단계는, 프로세서(110)를 통해, EUM 정보를 기반으로 접속 요청의 수준을 판단할 수 있다(S320). 확인 단계는, 프로세서(110)를 통해, 접속 요청의 수준이 기 설정된 수준보다 많을 경우, 기 설정된 접속 허용 순번에 도달한 대기열 상태에 있는 해당 사용자의 단말기들(200)을 확인할 수 있다(S330).

이때, 프로세서(110)는 사용자에 대한 각각의 국가별 접속 위치 정보를 기반으로 접속 요청의 수준이 기 설정된 수준보다 많을 경우, 기 설정된 접속 허용 순번에 도달한 대기열 상태에 있는 해당 사용자의 단말기들(200)을 확인할 수 있다. 이때, 프로세서(110)는 접속 허용 순번에 도달한 대기열 상태에 있는 해당 국가의 접속 위치 별 해당 사용자의 단말기들(200)을 확인할 수 있다.

또한, 프로세서(110)는 사용자에 대한 해당 국가의 도시별 접속 위치 정보를 기반으로 접속 요청의 수준이 기 설정된 수준보다 많을 경우, 기 설정된 접속 허용 순번에 도달한 대기열 상태에 있는 해당 사용자의 단말기들(200)을 확인할 수 있다. 이때, 프로세서(110)는 접속 허용 순번에 도달한 대기열 상태에 있는 해당 도시의 접속 위치 별 해당 사용자의 단말기들(200)을 확인할 수 있다.

또한, 프로세서(110)는 사용자에 대한 각각의 웹 브라우저 별 웹 페이지 호출 정보를 기반으로 접속 요청의 수준이 기 설정된 수준보다 많을 경우, 기 설정된 접속 허용 순번에 도달한 대기열 상태에 있는 해당 사용자의 단말기들(200)을 확인할 수 있다. 이때, 프로세서(110)는 접속 허용 순번에 도달한 대기열 상태에 있는 해당 웹 브라우저의 웹 페이지 호출 상태별 해당 사용자의 단말기들(200)을 확인할 수 있다.

또한, 프로세서(110)는 사용자에 대한 각각의 웹 브라우저 별 웹 페이지 응답 시간 정보를 기반으로 접속 요청의 수준이 기 설정된 수준보다 많을 경우, 기 설정된 접속 허용 순번에 도달한 대기열 상태에 있는 해당 사용자의 단말기들(200)을 확인할 수 있다. 이때, 프로세서(110)는 접속 허용 순번에 도달한 대기열 상태에 있는 해당 웹 브라우저의 웹 페이지 응답 시간 별 해당 사용자의 단말기들(200)을 확인할 수 있다.

또한, 프로세서(110)는 사용자에 대한 각각의 웹 브라우저 별 APDEX 정보를 기반으로 접속 요청의 수준이 기 설정된 수준보다 많을 경우, 기 설정된 접속 허용 순번에 도달한 대기열 상태에 있는 해당 사용자의 단말기들(200)을 확인할 수 있다. 이때, 프로세서(110)는 접속 허용 순번에 도달한 대기열 상태에 있는 해당 웹 브라우저의 APDEX 상태별 해당 사용자의 단말기들(200)을 확인할 수 있다.

분류 단계는, 프로세서(110)를 통해, 해당 사용자의 단말기들(200)을 진입 조건 별 대기 상태에 따라 그룹화하여 분류할 수 있다(S340).

일예로, 프로세서(110)는 EUM 정보를 기반으로, 해당 사용자의 단말기들(200)을 접속 대기열 시간 별로 그룹화하여 분류할 수 있다. 예를 들어, 프로세서(110)는 사용자에 대한 각각의 국가별 접속 위치 정보, 해당 국가의 도시별 접속 위치 정보, 각각의 웹 브라우저 별 웹 페이지 호출 정보, 각각의 웹 브라우저 별 APDEX 정보 중 적어도 하나를 기반으로, 적어도 하나의 해당 사용자의 단말기(200) 중 접속 대기열에서 5분 이하 대기 후 접속한 적어도 하나의 해당 사용자의 단말기(200)를 A그룹으로 분류하고, 접속 대기열에서 5분 이상 대기 후 접속한 적어도 다른 하나의 해당 사용자의 단말기(200)를 B그룹으로 분류할 수 있다. 이때, 프로세서(110)는 A그룹에게는 정상 웹 페이지를 제공하도록 서비스 서버(300)를 제어할 수 있고, B그룹에게는 정상 웹 페이지보다 간소화된 웹 페이지를 제공하도록 서비스 서버(300)를 제어할 수 있다. 한편, 프로세서(110)는 접속 대기열에서의 대기 시간과 접속 시간에 따라 해당 사용자의 단말기들(200)을 접속 대기열 시간 별로 C그룹, D그룹, E그룹, … 등으로 더 분류할 수도 있다.

다른 일예로, 프로세서(110)는 EUM 정보를 기반으로, 해당 사용자의 단말기들(200)을 웹 페이지 응답 시간 별로 그룹화하여 분류할 수 있다. 예를 들어, 프로세서(110)는 사용자에 대한 각각의 웹 브라우저 별 웹 페이지 응답 시간 정보를 기반으로, 적어도 하나의 해당 사용자의 단말기(200) 중 각각의 웹 브라우저 별 웹 페이지 응답 시간이 0.1초 이하인 적어도 하나의 해당 사용자의 단말기(200)를 A그룹으로 분류하고, 각각의 웹 브라우저 별 웹 페이지 응답 시간이 0.1초 이상인 적어도 다른 하나의 해당 사용자의 단말기(200)를 B그룹으로 분류할 수 있다. 이때, 프로세서(110)는 A그룹에게는 정상 웹 페이지를 제공하도록 서비스 서버(300)를 제어할 수 있고, B그룹에게는 정상 웹 페이지보다 간소화된 웹 페이지를 제공하도록 서비스 서버(300)를 제어할 수 있다. 한편, 프로세서(110)는 각각의 웹 브라우저 별 웹 페이지 응답 시간의 임계값 범위를 더 세부적으로 설정할 수 있고, 세부적으로 설정된 각각의 웹 브라우저 별 웹 페이지 응답 시간의 임계값 범위에 따라 해당 사용자의 단말기들(200)을 각각의 웹 브라우저 별 웹 페이지 응답 시간 별로 C그룹, D그룹, E그룹, … 등으로 더 분류할 수도 있다.

진행 단계는, 프로세서(110)를 통해, 그룹화하여 분류된 해당 사용자의 단말기들(200)에 대해 AB 테스트를 진행할 수 있다(S350). 여기에서, 프로세서(110)는 A 그룹과 B 그룹에게 또는 A 그룹 내지 E 그룹 등에게 다양한 콘텐츠에 대한 평가 분석을 위해, 기 설정된 AB 테스트 시나리오에 따라 AB 테스트를 진행할 수 있다. 예를 들어, AB 테스트 시나리오는 A 그룹과 B 그룹 또는 A 그룹 내지 E 그룹과 관련된 각각의 국가별 상품 광고와 공익 광고의 평가 분석을 위한 시나리오일 수 있고, A 그룹과 B 그룹 또는 A 그룹 내지 E 그룹과 관련된 해당 국가의 도시별 특산 상품 광고와 지역 공익 광고의 평가 분석을 위한 시나리오일 수 있으며, A 그룹과 B 그룹 또는 A 그룹 내지 E 그룹과 관련된 각각의 웹 브라우저 별 웹 페이지의 평가 분석을 위한 시나리오일 수 있고, A 그룹과 B 그룹 또는 A 그룹 내지 E 그룹과 관련된 각각의 웹 브라우저 별 APDEX(Application Performance Index, 애플리케이션 성능 지표)의 평가 분석을 위한 시나리오일 수 있다. 이때, 프로세서(110)는 대기열 상태에 있는 A 그룹과 B 그룹 또는 A 그룹 내지 E 그룹에 해당하는 사용자의 단말기들(200)에게 그룹 별 AB 테스트 시나리오에 해당하는 웹 페이지 소스를 각각 제공할 수 있다.

제공 단계는, 프로세서(110)를 통해, AB 테스트를 진행한 해당 사용자의 단말기들(200)에게 AB 테스트 진행 별 맞춤 보상 서비스를 제공할 수 있다(S360). 이때, 프로세서(110)는 해당 사용자의 단말기들(200)에게 AB 테스트 진행을 완료한 대가에 상응하는 AB 테스트 진행 별 보상 상품을 제공할 수 있다.

예를 들어, 프로세서(110)는 AB 테스트를 진행 완료한 A 그룹과 B 그룹 또는 A 그룹 내지 E 그룹 중 선착순에 밀려 상품을 구매하지 못한 경우, 해당 그룹에게 할인 쿠폰과 무료 쿠폰 중 적어도 하나를 제공할 수 있다.

다른 예를 들어, 프로세서(110)는 각각의 국가별 상품 광고와 공익 광고에 대해 AB 테스트를 진행 완료한 A 그룹과 B 그룹에게 또는 A 그룹 내지 E 그룹 등에게, 할인 쿠폰, 무료 쿠폰, 한정판 상품, 국가별 인기 상품 중 적어도 하나를 제공할 수 있다. 이때, 프로세서(110)는 A 그룹과 B 그룹에게 또는 A 그룹 내지 E 그룹 등에게, 할인 쿠폰, 무료 쿠폰, 한정판 상품, 국가별 인기 상품, 상품차 중 적어도 하나를 동일하게 제공할 수 있다. 또한, 프로세서(110)는 각각의 국가별 상품 광고와 공익 광고에 대해 AB 테스트를 진행 완료한 시간을 기반으로, 진행 완료 시간 별 보상 상품을 A 그룹과 B 그룹에게 또는 A 그룹 내지 E 그룹 등에게, 서로 차등적으로 제공할 수 있다. 이때, 진행 완료 시간 별 보상 상품은, 할인 쿠폰, 무료 쿠폰, 한정판 상품, 국가별 인기 상품, 상품차 등의 순서로 제공될 수 있다.

또 다른 예를 들어, 프로세서(110)는 해당 국가의 도시별 특산 상품 광고와 지역 공익 광고에 대해 AB 테스트를 진행 완료한 A 그룹과 B 그룹에게 또는 A 그룹 내지 E 그룹 등에게, 할인 쿠폰, 무료 쿠폰, 한정판 상품, 국가별 인기 상품 중 적어도 하나를 제공할 수 있다. 이때, 프로세서(110)는 A 그룹과 B 그룹에게 또는 A 그룹 내지 E 그룹 등에게, 할인 쿠폰, 무료 쿠폰, 한정판 상품, 국가별 인기 상품, 상품차 중 적어도 하나를 동일하게 제공할 수 있다. 또한, 프로세서(110)는 해당 국가의 도시별 특산 상품 광고와 지역 공익 광고에 대해 AB 테스트를 진행 완료한 시간을 기반으로, 진행 완료 시간 별 보상 상품을 A 그룹과 B 그룹에게 또는 A 그룹 내지 E 그룹 등에게, 서로 차등적으로 제공할 수 있다. 이때, 진행 완료 시간 별 보상 상품은, 할인 쿠폰, 무료 쿠폰, 한정판 상품, 국가별 인기 상품, 상품차 등의 순서로 제공될 수 있다.

또 다른 예를 들어, 프로세서(110)는 각각의 웹 브라우저 별 웹 페이지에 대해 AB 테스트를 진행 완료한 A 그룹과 B 그룹에게 또는 A 그룹 내지 E 그룹 등에게, 할인 쿠폰, 무료 쿠폰, 한정판 상품, 국가별 인기 상품 중 적어도 하나를 제공할 수 있다. 이때, 프로세서(110)는 A 그룹과 B 그룹에게 또는 A 그룹 내지 E 그룹 등에게, 할인 쿠폰, 무료 쿠폰, 한정판 상품, 국가별 인기 상품, 상품차 중 적어도 하나를 동일하게 제공할 수 있다. 또한, 프로세서(110)는 각각의 웹 브라우저 별 웹 페이지에 대해 AB 테스트를 진행 완료한 시간을 기반으로, 진행 완료 시간 별 보상 상품을 A 그룹과 B 그룹에게 또는 A 그룹 내지 E 그룹 등에게, 서로 차등적으로 제공할 수 있다. 이때, 진행 완료 시간 별 보상 상품은, 할인 쿠폰, 무료 쿠폰, 한정판 상품, 국가별 인기 상품, 상품차 등의 순서로 제공될 수 있다.

또 다른 예를 들어, 프로세서(110)는 각각의 웹 브라우저 별 APDEX(Application Performance Index, 애플리케이션 성능 지표)에 대해 AB 테스트를 진행 완료한 A 그룹과 B 그룹에게 또는 A 그룹 내지 E 그룹 등에게, 할인 쿠폰, 무료 쿠폰, 한정판 상품, 국가별 인기 상품 중 적어도 하나를 제공할 수 있다. 이때, 프로세서(110)는 A 그룹과 B 그룹에게 또는 A 그룹 내지 E 그룹 등에게, 할인 쿠폰, 무료 쿠폰, 한정판 상품, 국가별 인기 상품, 상품차 중 적어도 하나를 동일하게 제공할 수 있다. 또한, 프로세서(110)는 각각의 웹 브라우저 별 APDEX(Application Performance Index, 애플리케이션 성능 지표)에 대해 AB 테스트를 진행 완료한 시간을 기반으로, 진행 완료 시간 별 보상 상품을 A 그룹과 B 그룹에게 또는 A 그룹 내지 E 그룹 등에게, 서로 차등적으로 제공할 수 있다. 이때, 진행 완료 시간 별 보상 상품은, 할인 쿠폰, 무료 쿠폰, 한정판 상품, 국가별 인기 상품, 상품차 등의 순서로 제공될 수 있다.

수집 단계는, 프로세서(110)를 통해, 해당 사용자의 단말기들(200)이 발생한 해당 웹 페이지 내의 이벤트 데이터를 더 수집할 수도 있다(S370). 분석 단계는, 프로세서(110)를 통해, 이벤트 데이터를 더 분석할 수도 있다(S380).

이때, 도 6에 도시된 바와 같이 프로세서(110)는 이벤트 데이터를 기반으로, 해당 사용자의 단말기들(200)의 행동 데이터에 해당하는 대기 시간, 대기자 수, 대기중 이탈자 수, 처리 시간, 진입 요청량, 진입중 이탈자 수, 완료율 중 적어도 하나를 분석할 수도 있다. 또한, 프로세서(110)는 이벤트 데이터를 기반으로, 해당 사용자의 단말기들(200)의 행동 데이터에 해당하는 구매율의 변화량과 전환율의 변화량 및 이탈율의 변화량 중 적어도 하나를 분석할 수도 있다. 또한, 프로세서(110)는 AB 테스트를 통해 획득된 데이터를 기반으로, AB 테스트의 결과에 따라 다음 사용자 대상으로 적용될 AB 테스트 시나리오를 수정할 수 있고, 다음 사용자 대상으로 적용될 AB 테스트 시나리오를 새롭게 생성할 수 있다.

변경 단계는, 프로세서(110)를 통해, 다음 사용자 대상으로 적용될 수정된 AB 테스트 시나리오를 변경할 수 있고, 다음 사용자 대상으로 적용될 새롭게 생성된 AB 테스트 시나리오를 변경할 수 있다(S390). 이때, 프로세서(110)는 수정된 AB 테스트 시나리오에 해당하는 웹 페이지 소스 또는 새롭게 생성된 AB 테스트 시나리오에 해당하는 웹 페이지 소스를 해당 사용자의 단말기들(200)에게 각각 제공할 수 있다.

한편, 도시하지 않았지만, 본 개시의 진입 관리 서버(100)는 출력부 및 입력부를 더 포함할 수도 있다.

출력부는 진입 관리 서버(100)에서 구현되는 동작과 관련된 정보를 제공하기 위한 사용자 인터페이스(UI, user interface)를 표시할 수 있다. 출력부는 프로세서(110)가 생성하거나 결정한 임의의 형태의 정보 및 통신부(150)가 수신한 임의의 형태의 정보를 출력할 수 있다.

출력부는 액정 디스플레이(LCD: liquid crystal display), 박막 트랜지스터 액정 디스플레이(TFT LCD: thin film transistor- liquid crystal display), 유기 발광 다이오드(OLED: organic light-emitting diode), 플렉시블 디스플레이(Flexible display), 3차원 디스플레이(3D display) 중에서 적어도 하나를 포함할 수 있다. 이들 중 일부 디스플레이 모듈은, 그를 통해 외부를 볼 수 있도록 투명형 또는 광 투과형으로 구성될 수 있다. 이는 투명 디스플레이 모듈이라 지칭될 수 있는데, 상기 투명 디스플레이 모듈의 대표적 인 예로는 TOLED(Transparent OLED) 등이 있다.

입력부는 사용자에 의해서 입력된 정보를 수신할 수 있다. 입력부는 사용자에 의해서 입력된 정보를 수신하기 위한 사용자 인터페이스 상의 키 및/또는 버튼들, 또는 물리적인 키 및/또는 버튼들을 구비할 수 있다. 입력부를 통한 사용 자 입력에 따라 본 개시의 실시예들에 따른 디스플레이를 제어하기 위한 컴퓨터 프로그램이 실행될 수 있다.

본 개시의 진입 관리 서버(100)는, 웹 서버 앞단에서 특정 시점에서의 트래픽을 제어하는 솔루션을 제공할 수 있다. 예를 들어, 진입 관리 서버(100)는 수강신청, 드로우, 예매버튼 등 특정 웹 페이지에서 하나의 버튼을 선택적으로 제어할 수 있다.

본 개시는, 웹 페이지에서 하나의 버튼을 클라이언트가 클릭할 경우, 웹 서버에 http 요청을 보내고, 본 개시의 진입 관리 서버(100)에서 클릭한 클라이언트에게 대기 순서 및 대기 공간을 제공할 수 있다. 이때, 클라이언트의 대기 순서 도달 시, 웹 서버에서 클라이언트로 해당 버튼의 http 주소를 보내고 나면, 본 개시의 진입 관리 서버(100)에서 대기 순서를 반납함으로써 이후의 트랜잭션이 종료될 수 있다.

본 개시의 진입 관리 서버(100)는, 접속하고자 하는 웹 서버를 대신하여 다수의 대기자를 수용하기 위한 공간을 제공할 수 있다.

도 1 및 도 2에 도시된 구성 요소들의 성능에 대응하여 적어도 하나의 구성요소가 추가되거나 삭제될 수 있다. 또한, 구성 요소들의 상호 위치는 시스템의 성능 또는 구조에 대응하여 변경될 수 있다는 것은 당해 기술 분야에서 통상의 지식을 가진 자에게 용이하게 이해될 것이다.

도 3 및 도 4는 복수의 단계를 순차적으로 실행하는 것으로 기재하고 있으나, 이는 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 실시예가 속하는 기술분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 도 3 및 도 4에 기재된 순서를 변경하여 실행하거나 복수의 단계 중 하나 이상의 단계를 병렬적으로 실행하는 것으로 다양하게 수정 및 변형하여 적용 가능할 것이므로, 도 3 및 도 4는 시계열적인 순서로 한정되는 것은 아니다.

한편, 개시된 실시예들은 컴퓨터에 의해 실행 가능한 명령어를 저장하는 기록매체의 형태로 구현될 수 있다. 명령어는 프로그램 코드의 형태로 저장될 수 있으며, 프로세서에 의해 실행되었을 때, 프로그램 모듈을 생성하여 개시된 실시예들의 동작을 수행할 수 있다. 기록매체는 컴퓨터로 읽을 수 있는 기록매체로 구현될 수 있다.

컴퓨터가 읽을 수 있는 기록매체로는 컴퓨터에 의하여 해독될 수 있는 명령어가 저장된 모든 종류의 기록 매체를 포함한다. 예를 들어, ROM(Read Only Memory), RAM(Random Access Memory), 자기 테이프, 자기 디스크, 플래쉬 메모리, 광 데이터 저장장치 등이 있을 수 있다.

이상에서와 같이 첨부된 도면을 참조하여 개시된 실시예들을 설명하였다. 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자는 본 개시의 기술적 사상이나 필수적인 특징을 변경하지 않고도, 개시된 실시예들과 다른 형태로 본 개시가 실시될 수 있음을 이해할 것이다. 개시된 실시예들은 예시적인 것이며, 한정적으로 해석되어서는 안 된다.

100: 진입 관리 서버 110: 프로세서
120: 메모리 130: 통신부

Claims (12)

1. 서비스 서버로의 진입을 요청하는 대기열 사용자의 단말기와 통신을 수행하는 통신부; 및
   상기 대기열 사용자의 AB 테스트의 진행과 관련된 동작을 제어하는 프로세서; 를 포함하고,
   상기 프로세서는,
   상기 사용자의 단말기로부터 EUM 정보를 수신받고, 상기 EUM 정보를 기반으로 접속 요청의 수준을 판단하며, 상기 접속 요청의 수준이 기 설정된 수준보다 많을 경우, 기 설정된 접속 허용 순번에 도달한 대기열 상태에 있는 해당 사용자의 단말기들을 확인하고, 상기 EUM 정보를 기반으로, 상기 해당 사용자의 단말기들 중 각각의 웹 브라우저 별 웹 페이지 응답 시간이 기 설정된 시간 범위 내에 있는 해당 사용자의 단말기를 A그룹으로 분류하고, 상기 기 설정된 시간 범위를 초과한 상태에 있는 해당 사용자의 단말기를 B그룹으로 분류하며, 상기 A그룹과 상기 B그룹의 해당 사용자의 단말기들에게 서로 다른 웹 페이지를 각각 제공하며, 상기 A그룹과 상기 B그룹의 해당 사용자의 단말기들에 대해 각각의 웹 브라우저 별 웹 페이지의 평가 분석을 위한 시나리오를 포함하는 AB 테스트를 진행하는 것을 특징으로 하는, 진입 관리 서버.
2. 제1항에 있어서,
   상기 프로세서는,
   상기 AB 테스트를 진행한 해당 사용자의 단말기들에게 AB 테스트 진행 별 맞춤 보상 서비스를 더 제공하는 것을 특징으로 하는, 진입 관리 서버.
3. 삭제
4. 삭제
5. 제1항에 있어서,
   상기 프로세서는,
   상기 해당 사용자의 단말기들이 발생한 해당 웹 페이지 내의 이벤트 데이터를 더 수집하고,
   상기 이벤트 데이터를 기반으로, 상기 해당 사용자의 단말기들의 행동 데이터에 해당하는 구매율의 변화량과 전환율의 변화량 및 이탈율의 변화량 중 적어도 하나를 분석하는 것을 특징으로 하는, 진입 관리 서버.
6. 진입 관리 서버에 의해 수행되는 AB 테스트 진행 방법에 있어서,
   서비스 서버로의 진입을 요청하는 사용자의 단말기로부터 EUM 정보를 수신받는 단계;
   상기 EUM 정보를 기반으로 접속 요청의 수준을 판단하는 단계;
   상기 접속 요청의 수준이 기 설정된 수준보다 많을 경우, 기 설정된 접속 허용 순번에 도달한 대기열 상태에 있는 해당 사용자의 단말기들을 확인하는 단계;
   상기 EUM 정보를 기반으로, 상기 해당 사용자의 단말기들 중 각각의 웹 브라우저 별 웹 페이지 응답 시간이 기 설정된 시간 범위 내에 있는 해당 사용자의 단말기를 A그룹으로 분류하고, 상기 기 설정된 시간 범위를 초과한 상태에 있는 해당 사용자의 단말기를 B그룹으로 분류하는 단계;
   상기 A그룹과 상기 B그룹의 해당 사용자의 단말기들에게 서로 다른 웹 페이지를 각각 제공하는 단계; 및
   상기 A그룹과 상기 B그룹의 해당 사용자의 단말기들에 대해 각각의 웹 브라우저 별 웹 페이지의 평가 분석을 위한 시나리오를 포함하는 AB 테스트를 진행하는 단계; 를 포함하는, 방법.
7. 제6항에 있어서,
   상기 AB 테스트를 진행한 해당 사용자의 단말기들에게 AB 테스트 진행 별 맞춤 보상 서비스를 제공하는 단계; 를 더 포함하는, 방법.
8. 삭제
9. 삭제
10. 제6항에 있어서,
    상기 해당 사용자의 단말기들이 발생한 해당 웹 페이지 내의 이벤트 데이터를 수집하는 단계; 를 더 포함하고,
    상기 이벤트 데이터를 분석하는 단계; 를 더 포함하며,
    상기 분석 단계는,
    상기 이벤트 데이터를 기반으로, 상기 해당 사용자의 단말기들의 행동 데이터에 해당하는 구매율의 변화량과 전환율의 변화량 및 이탈율의 변화량 중 적어도 하나를 분석하는 것을 특징으로 하는, 방법.
11. 제7항에 있어서,
    상기 제공 단계는,
    상기 해당 사용자의 단말기들에게 상기 AB 테스트 진행을 완료한 대가에 상응하는 AB 테스트 진행 별 보상 상품을 제공하는 것을 특징으로 하는, 방법.
12. 하드웨어인 컴퓨터와 결합되어, 제6항, 제7항, 제10항 및 제11항 중 어느 한 항의 진입 관리 서버에 의해 수행되는 AB 테스트 진행 방법을 실행시키기 위하여 컴퓨터 판독 가능한 기록 매체에 저장된, 프로그램.

Images