KR102618518B1

KR102618518B1 - 정보를 제공하는 전자 장치의 동작 방법 및 이를 지원하는 전자 장치

Info

Publication number: KR102618518B1
Application number: KR1020220178218A
Authority: KR
Inventors: 제무 잉
Original assignee: 쿠팡 주식회사
Priority date: 2022-12-19
Filing date: 2022-12-19
Publication date: 2023-12-28

Abstract

본 개시에 따르면, 전자 장치가 정보를 제공하는 방법에 있어서, 상기 전자 장치가 제공하는 서비스를 위한 A/B 테스트를 관리하는 테스트 관리 페이지 상에서, A/B 테스트가 적용될 상기 서비스의 제1 사용자에 대한 정보를 확인하는 단계; 상기 제1 사용자에 대응하여 설정된 하나 이상의 A/B 테스트를 포함하는 제1 테스트 그룹에 대한 정보를 확인하는 단계; 및 상기 제1 테스트 그룹에 포함된 각 A/B 테스트에 대한 옵션 값을 설정한 제1 입력에 기반하여, 상기 서비스 상에서 상기 제1 사용자에 대응하여 확인되는 테스트 결과 정보를 제공하는 단계를 포함하는 방법이 개시된다.

Description

정보를 제공하는 전자 장치의 동작 방법 및 이를 지원하는 전자 장치{OPERATING METHOD FOR ELECTRONIC APPARATUS FOR PROVIDING INFORMATION AND ELECTRONIC APPARATUS SUPPORTING THEREOF}

본 발명은 정보를 제공하는 방법 및 장치에 관한 것으로서, 더욱 상세하게는 전자 장치가 서비스 상의 사용자에 대하여 설정된 하나 이상의 A/B 테스트를 적용하는 테스트 결과 정보를 제공하는 방법 및 이의 전자 장치에 관한 것이다.

전자기술의 발달에 따라 전자상거래는 쇼핑의 한 분야로 자리잡았다. 고객은 직접 쇼핑몰이나 시장에 가지 않고도 온라인 상에서 물품을 구매할 수 있으며, 온라인 상에서 구매한 물품은 고객이 요청한 배송지로 배송된다.

전자상거래의 경우 상품에 대한 자세하고 정확한 정보의 처리가 서비스 만족도에 상당한 영향을 미치기 때문에 보다 자세하고 정확하게 정보를 처리하기 위한 다양한 방안에 대한 논의가 이루어지고 있다.

관련하여, KR101756594B1 건 또는 KR101500849B1 건 등의 선행문헌들을 참조할 수 있다.

본 발명의 방법에 따르면, 전자 장치가 서비스 상의 사용자에 대하여 설정된 하나 이상의 A/B 테스트를 적용하는 테스트 결과 정보를 제공할 수 있다.

본 발명에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

다양한 실시예들은, 정보 제공을 위한 전자 장치의 동작 방법 및 이를 지원하는 전자 장치를 제공할 수 있다.

다양한 실시예들에 따른 전자 장치가 정보를 제공하는 방법에 있어서, 상기 전자 장치가 제공하는 서비스를 위한 A/B 테스트를 관리하는 테스트 관리 페이지 상에서, A/B 테스트가 적용될 상기 서비스의 제1 사용자에 대한 정보를 확인하는 단계; 상기 제1 사용자에 대응하여 설정된 하나 이상의 A/B 테스트를 포함하는 제1 테스트 그룹에 대한 정보를 확인하는 단계; 및 상기 제1 테스트 그룹에 포함된 각 A/B 테스트에 대한 옵션 값을 설정한 제1 입력에 기반하여, 상기 서비스 상에서 상기 제1 사용자에 대응하여 확인되는 테스트 결과 정보를 제공하는 단계를 포함할 수 있다.

예시적 실시예에서, 상기 제1 사용자에 대한 정보를 확인하는 단계는, 상기 서비스를 위한 A/B 테스트를 적용하도록 관리되는 복수의 사용자 중 상기 제1 사용자를 선택하는 제2 입력을 획득하는 단계; 및 상기 제2 입력에 대응하여 상기 제1 사용자에 대한 정보를 확인하는 단계를 포함할 수 있다.

예시적 실시예에서, 상기 제1 사용자는 상기 제1 사용자의 서비스 계정을 식별하는 제1 식별 정보에 기반하여 특정되고, 상기 제1 사용자에 대한 정보는 상기 제1 식별 정보를 포함할 수 있다.

예시적 실시예에서, 상기 에러 발생 정보를 설정하는 단계는, 상기 특정 에러 유형이 상기 제1 에러 유형에 대응하는 경우, 데이터 호출의 누락을 알리는 메시지를 설정하는 단계를 포함할 수 있다.

예시적 실시예에서, 서비스 계정에 대한 식별 정보에 따라 옵션 값이 적용되도록 설정한 제1 A/B 테스트가 상기 제1 테스트 그룹에 포함된 경우, 상기 제1 A/B 테스트에서 상기 제1 식별 정보에 대응하는 제1 옵션 값이 디폴트(default) 값으로 설정될 수 있다.

예시적 실시예에서, 상기 제1 사용자는 상기 제1 사용자의 사용자 단말을 식별하는 제2 식별 정보에 기반하여 특정되고, 상기 제1 사용자에 대한 정보는 상기 제2 식별 정보를 포함할 수 있다.

예시적 실시예에서, 사용자 단말에 대한 식별 정보에 따라 옵션 값이 적용되도록 설정한 제2 A/B 테스트가 상기 제1 테스트 그룹에 포함된 경우, 상기 제2 A/B 테스트에서 상기 제2 식별 정보에 대응하는 제2 옵션 값이 디폴트(default) 값으로 설정될 수 있다.

예시적 실시예에서, 상기 제1 테스트 그룹에 포함된 각 A/B 테스트에 대한 정보는, 상기 각 A/B 테스트의 테스트 식별 번호에 대한 정보, 상기 각 A/B 테스트의 명칭에 대한 정보, 상기 각 A/B 테스트에서 설정 가능한 하나 이상의 옵션 값에 대한 정보, 상기 각 A/B 테스트의 적용 대상 타입에 대한 정보, 및 상기 각 A/B 테스트의 적용 대상 플랫폼에 대한 정보를 포함할 수 있다.

예시적 실시예에서, 상기 제1 테스트 그룹은 상기 제1 사용자에 대응하여 설정된 복수의 테스트 그룹에 포함되고, 상기 제1 테스트 그룹에 대한 정보를 확인하는 단계는, 상기 제1 사용자에 대한 정보에 기반하여 상기 복수의 테스트 그룹에 대한 정보를 확인하는 단계; 및 상기 복수의 테스트 그룹 중 상기 제1 테스트 그룹을 선택하는 제3 입력에 기반하여 상기 제1 테스트 그룹에 대한 정보를 확인하는 단계를 포함할 수 있다.

예시적 실시예에서, 상기 제1 테스트 그룹은, 상기 제1 입력에 따라 상기 제1 테스트 그룹에 포함된 각 A/B 테스트가 일정한 옵션 값으로 적용되어 있는 상태를 저장할 수 있도록 설정될 수 있다.

예시적 실시예에서, 상기 제1 테스트 그룹에 대한 정보는, 상기 제1 테스트 그룹에 포함된 하나 이상의 테스트 상태 설정 셋에 대한 정보를 포함하고, 상기 하나 이상의 테스트 상태 설정 셋에 포함된 제1 테스트 상태 설정 셋은, 상기 제1 테스트 그룹에 포함된 각 A/B 테스트가 일정한 옵션 값으로 적용되어 있는 상태로써 상기 제1 테스트 그룹을 저장하고, 상기 제1 테스트 상태 설정 셋에 대한 제4 입력이 있는 경우, 상기 제1 테스트 상태 설정 셋에 대응하여 저장된 상태로써 상기 제1 테스트 그룹에 대한 정보가 확인될 수 있도록 설정될 수 있다.

예시적 실시예에서, 상기 제1 테스트 그룹은 상기 서비스를 위한 특정의 서비스 주제에 대응하여 설정되고, 상기 제1 테스트 그룹에 대한 정보는 상기 특정의 서비스 주제에 대한 정보를 포함할 수 있다.

예시적 실시예에서, 상기 정보 제공 방법은, 상기 제1 사용자에 대한 A/B 테스트의 적용 여부를 활성화 하는 제1 활성화 정보 및 상기 제1 테스트 그룹에 대한 설정 여부를 활성화 하는 제2 활성화 정보를 제공하는 단계를 더 포함하고, 상기 제1 활성화 정보에 대응하는 제5 입력 및 상기 제2 활성화 정보에 대응하는 제6 입력에 기반하여 상기 제1 테스트 그룹이 설정될 수 있다.

예시적 실시예에서, 상기 정보 제공 방법은, 상기 제1 사용자에 대한 A/B 테스트를 관리하는 하나 이상의 테스트 관리자에게 상기 제1 테스트 그룹에 정보를 제공하는 단계를 더 포함할 수 있다.

예시적 실시예에서, 상기 제1 테스트 그룹에 포함된 각 A/B 테스트는 상기 제1 테스트 그룹에서 상호 간 충돌이 없도록 사전에 관리될 수 있다.

다양한 실시예들에 따른 정보를 제공하는 전자 장치에 있어서, 프로세서 (processor); 및 하나 이상의 인스트럭션 (instruction) 을 저장하는 하나 이상의 메모리 (memory) 를 포함하고, 상기 하나 이상의 인스트럭션은, 실행 시에, 상기 프로세서가: 상기 전자 장치가 제공하는 서비스를 위한 A/B 테스트를 관리하는 테스트 관리 페이지 상에서, A/B 테스트가 적용될 상기 서비스의 제1 사용자에 대한 정보를 확인하는 단계; 상기 제1 사용자에 대응하여 설정된 하나 이상의 A/B 테스트를 포함하는 제1 테스트 그룹에 대한 정보를 확인하는 단계; 및 상기 제1 테스트 그룹에 포함된 각 A/B 테스트에 대한 옵션 값을 설정한 제1 입력에 기반하여, 상기 서비스 상에서 상기 제1 사용자에 대응하여 확인되는 테스트 결과 정보를 제공하는 단계를 수행하도록 상기 프로세서를 제어할 수 있다.

상술한 본 개시의 다양한 실시예들은 본 개시의 바람직한 실시예들 중 일부에 불과하며, 본 개시의 다양한 실시예들의 기술적 특징들이 반영된 여러 가지 실시예들이 당해 기술분야의 통상적인 지식을 가진 자에 의해 이하 상술할 상세한 설명을 기반으로 도출되고 이해될 수 있다.

본 발명은 전자 장치가 서비스 상의 사용자에 대하여 설정된 하나 이상의 A/B 테스트를 적용하는 테스트 결과 정보를 제공하는 방법을 제시하여, 서비스에 대한 관리자의 테스트 편의를 도모할 수 있는 측면에서 기술적인 효과를 갖는다.

본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

도 1은 다양한 실시예들에 따른 정보 제공을 위한 전자 장치의 동작 방법이 구현될 수 있는 정보 제공 시스템을 설명하기 위한 도면이다.
도 2는 다양한 실시예들에 따른 서버 디바이스(100) 및 사용자 디바이스(200)의 구성을 도시한 도면이다.
도 3은 다양한 실시예들에 따른 정보 제공을 위한 서버 디바이스(100)의 동작 방법을 도시한 도면이다.
도 4 내지 도 5는 사용자를 특정할 수 있는 식별 정보에 기반하여 사용자에 대한 A/B 테스트를 관리하는 일 예시를 도시한 도면이다.
도 6은 테스트 그룹에 포함된 각 A/B 테스트가 일정한 옵션 값으로 적용되어 있는 상태를 저장하도록 설정하는 일 예시를 도시한 도면이다.
도 7은 테스트 그룹에 포함된 각 A/B 테스트가 일정한 옵션 값으로 적용되어 있는 상태를 저장하기 위해 테스트 그룹에 대응하는 상태 설정 셋을 설정하는 일 예시를 도시한 도면이다.
도 8은 사용자에 대한 A/B 테스트의 적용 여부를 활성화 하는 입력 및 사용자에 대해 설정된 테스트 그룹의 설정 가능 여부를 활성화 하는 입력에 기반하여 테스트 그룹을 설정하는 일 예시를 도시한 도면이다.

이하의 실시예들은 다양한 실시예들의 구성요소들과 특징들을 소정 형태로 결합한 것들이다. 각 구성요소 또는 특징은 별도의 명시적 언급이 없는 한 선택적인 것으로 고려될 수 있다. 각 구성요소 또는 특징은 다른 구성요소나 특징과 결합되지 않은 형태로 실시될 수 있다. 또한, 일부 구성요소들 및 특징들을 결합하여 다양한 실시예들을 구성할 수도 있다. 다양한 실시예들에서 설명되는 동작들의 순서는 변경될 수 있다. 어느 실시예의 일부 구성이나 특징은 다른 실시예에 포함될 수 있고, 또는 다른 실시예의 대응하는 구성 또는 특징과 교체될 수 있다.

도면에 대한 설명에서, 다양한 실시예들의 요지를 흐릴 수 있는 절차 또는 단계 등은 기술하지 않았으며, 당해 기술분야에서 통상의 지식을 가진 자의 수준에서 이해할 수 있을 정도의 절차 또는 단계는 또한 기술하지 아니하였다.

명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함(comprising 또는 including)"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "...부", "...기", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다. 또한, "일(a 또는 an)", "하나(one)", "그(the)" 및 유사 관련어는 다양한 실시예들을 기술하는 문맥에 있어서(특히, 이하의 청구항의 문맥에서) 본 명세서에 달리 지시되거나 문맥에 의해 분명하게 반박되지 않는 한, 단수 및 복수 모두를 포함하는 의미로 사용될 수 있다.

이하, 다양한 실시예들에 따른 바람직한 실시 형태를 첨부된 도면을 참조하여 상세하게 설명한다. 첨부된 도면과 함께 이하에 개시될 상세한 설명은 다양한 실시예들의 예시적인 실시형태를 설명하고자 하는 것이며, 유일한 실시형태를 나타내고자 하는 것이 아니다.

또한, 다양한 실시예들에서 사용되는 특정(特定) 용어들은 다양한 실시예들의 이해를 돕기 위해서 제공된 것이며, 이러한 특정 용어의 사용은 다양한 실시예들의 기술적 사상을 벗어나지 않는 범위에서 다른 형태로 변경될 수 있다.

도 1은 다양한 실시예들에 따른 정보 제공을 위한 전자 장치의 동작 방법이 구현될 수 있는 정보 제공 시스템을 설명하기 위한 도면이다.

도 1을 참조하면, 다양한 실시예들에 따른 정보 제공 시스템은 다양한 종류의 전자 장치들에 구현될 수 있다. 예를 들어, 정보 제공 시스템은 서버 디바이스(100) 및 사용자 디바이스(200)에 구현될 수 있다. 달리 말해, 서버 디바이스(100) 및 사용자 디바이스(200)는 각각의 장치에 구현된 정보 제공 시스템을 기반으로, 본 개시의 다양한 실시예들에 따른 동작을 수행할 수 있다. 한편, 다양한 실시예들에 따른 정보 제공 시스템은, 상기 도 1에 도시된 바에 국한되지 않고, 더 다양한 전자 장치와 서버들에 구현될 수도 있을 것이다.

다양한 실시예들에 따른 서버 디바이스(100)는, 복수 개의 사용자 디바이스(200)들과 무선 및 유선 통신을 수행하며, 대단위의 저장 용량을 갖는 스토리지를 포함하는 장치일 수 있다. 예를 들어, 서버 디바이스(100)는 복수 개의 사용자 디바이스(200)들과 연동되는 클라우드 디바이스(Cloud device)일 수 있다.

다양한 실시예들에 따른 사용자 디바이스(200)는, 데스크탑 피시, 태블릿 피시, 모바일 단말 등의 개인 사용자에 의해 이용될 수 있는 장치일 수 있다. 이외에도 유사한 기능을 수행하는 다른 전자 장치들이 사용자 디바이스(200)로 이용될 수 있다.

다양한 실시예들에 따른 정보 제공 시스템은 동작을 위한 다양한 모듈들을 포함할 수 있다. 정보 제공 시스템에 포함된 모듈들은 정보 제공 시스템이 구현되는(또는, 물리적 장치에 포함되는) 물리적 장치(예: 서버 디바이스(100) 및 사용자 디바이스(200))가 지정된 동작을 수행할 수 있도록 구현된 컴퓨터 코드 내지는 하나 이상의 인스트럭션 (instruction) 일 수 있다. 다시 말해, 정보 제공 시스템이 구현되는 물리적 장치는 복수 개의 모듈들을 컴퓨터 코드 형태로 메모리에 저장하고, 메모리에 저장된 복수 개의 모듈들이 실행되는 경우 복수 개의 모듈들은 물리적 장치가 복수 개의 모듈들에 대응하는 지정된 동작들을 수행하도록 할 수 있다.

도 2는 다양한 실시예들에 따른 서버 디바이스(100) 및 사용자 디바이스(200)의 구성을 도시한 도면이다.

도 2를 참조하면, 서버 디바이스(100) 및 사용자 디바이스(200)는 입/출력부(210), 통신부(220), 스토리지(230) 및 프로세서(240)를 포함할 수 있다.

입/출력부(210)는 사용자 입력을 받거나 또는 사용자에게 정보를 출력하는 각종 인터페이스나 연결 포트 등일 수 있다. 입/출력부(210)는 입력 모듈과 출력 모듈을 포함할 수 있는데, 입력 모듈은 사용자로부터 사용자 입력을 수신한다. 사용자 입력은 키 입력, 터치 입력, 음성 입력을 비롯한 다양한 형태로 이루어질 수 있다. 이러한 사용자 입력을 받을 수 있는 입력 모듈의 예로는 전통적인 형태의 키패드나 키보드, 마우스는 물론, 사용자의 터치를 감지하는 터치 센서, 음성 신호를 입력받는 마이크, 영상 인식을 통해 제스처 등을 인식하는 카메라, 사용자 접근을 감지하는 조도 센서나 적외선 센서 중 적어도 하나를 포함하는 근접 센서, 가속도 센서나 자이로 센서 등을 통해 사용자 동작을 인식하는 모션 센서 및 그 외의 다양한 형태의 사용자 입력을 감지하거나 입력받는 다양한 형태의 입력 수단이 있으며, 본 개시의 실시예에 따른 입력 모듈은 위에 나열한 장치 중 적어도 하나를 포함할 수 있다. 여기서, 터치 센서는 디스플레이 패널에 부착되는 터치 패널이나 터치 필름을 통해 터치를 감지하는 압전식 또는 정전식 터치 센서, 광학적인 방식에 의해 터치를 감지하는 광학식 터치 센서 등으로 구현될 수 있다. 이외에도 입력 모듈은 자체적으로 사용자 입력을 감지하는 장치 대신 사용자 입력을 입력받는 외부의 입력 장치를 연결시키는 입력 인터페이스(USB 포트, PS/2 포트 등)의 형태로 구현될 수도 있다. 또 출력 모듈은 각종 정보를 출력할 수 있다. 출력 모듈은 영상을 출력하는 디스플레이, 소리를 출력하는 스피커, 진동을 발생시키는 햅틱 장치 및 그 외의 다양한 형태의 출력 수단 중 적어도 하나를 포함할 수 있다. 이외에도 출력 모듈은 상술한 개별 출력 수단을 연결시키는 포트 타입의 출력 인터페이스의 형태로 구현될 수도 있다.

일 예로, 디스플레이 형태의 출력 모듈은 텍스트, 정지 영상, 동영상을 디스플레이 할 수 있다. 디스플레이는 액정 디스플레이(LCD: Liquid Crystal Display), 발광 다이오드(LED: light emitting diode) 디스플레이, 유기 발광 다이오드(OLED: Organic Light Emitting Diode) 디스플레이, 평판 디스플레이(FPD: Flat Panel Display), 투명 디스플레이(transparent display), 곡면 디스플레이(Curved Display), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display), 홀로그래픽 디스플레이(holographic display), 프로젝터 및 그 외의 영상 출력 기능을 수행할 수 있는 다양한 형태의 장치 중 적어도 하나를 포함할 수 있다. 이러한 디스플레이는 입력 모듈의 터치 센서와 일체로 구성된 터치 디스플레이의 형태일 수도 있다.

통신부(220)는 다른 장치와 통신할 수 있다. 따라서, 서버 디바이스(100) 및 사용자 디바이스(200)는 통신부를 통해 다른 장치와 정보를 송수신할 수 있다. 예를 들어, 서버 디바이스(100) 및 사용자 디바이스(200)는 통신부를 이용해 상호 간 통신을 수행하거나, 기타 다른 장치와 통신을 수행할 수 있다.

여기서, 통신, 즉 데이터의 송수신은 유선 또는 무선으로 이루어질 수 있다. 이를 위해 통신부는 LAN(Local Area Network)를 통해 인터넷 등에 접속하는 유선 통신 모듈, 이동 통신 기지국을 거쳐 이동 통신 네트워크에 접속하여 데이터를 송수신하는 이동 통신 모듈, 와이파이(Wi-Fi) 같은 WLAN(Wireless Local Area Network) 계열의 통신 방식이나 블루투스(Bluetooth), 직비(Zigbee)와 같은 WPAN(Wireless Personal Area Network) 계열의 통신 방식을 이용하는 근거리 통신 모듈, GPS(Global Positioning System)과 같은 GNSS(Global Navigation Satellite System)을 이용하는 위성 통신 모듈 또는 이들의 조합을 포함할 수 있다.

스토리지(230)는 각종 정보를 저장할 수 있다. 스토리지(230)는 데이터를 임시적으로 또는 반영구적으로 저장할 수 있다. 예를 들어, 서버 디바이스(100)의 스토리지(230)에는 서버 디바이스(100)를 구동하기 위한 운용 프로그램(OS: Operating System), 웹 사이트를 호스팅하기 위한 데이터나 점자 생성을 위한 프로그램 내지는 어플리케이션(예를 들어, 웹 어플리케이션)에 관한 데이터 등이 저장될 수 있다. 또, 스토리지(230)는 상술한 바와 같이 모듈들을 컴퓨터 코드 형태로 저장할 수 있다.

스토리지(230)의 예로는 하드 디스크(HDD: Hard Disk Drive), SSD(Solid State Drive), 플래쉬 메모리(flash memory), 롬(ROM: Read-Only Memory), 램(RAM: Random Access Memory) 등이 있을 수 있다. 이러한 스토리지(230)는 내장 타입 또는 탈부착 가능한 타입으로 제공될 수 있다.

프로세서(240)는 서버 디바이스(100) 및 사용자 디바이스(200)의 전반적인 동작을 제어한다. 이를 위해 프로세서(240)는 각종 정보의 연산 및 처리를 수행하고 서버 디바이스(100)의 구성요소들의 동작을 제어할 수 있다. 예를 들어, 프로세서(240)는 정보 제공을 위한 프로그램 내지 어플리케이션을 실행시킬 수 있을 것이다. 프로세서(240)는 하드웨어, 소프트웨어 또는 이들의 조합에 따라 컴퓨터나 이와 유사한 장치로 구현될 수 있다. 하드웨어적으로 프로세서(240)는 전기적인 신호를 처리하여 제어 기능을 수행하는 전자 회로 형태로 구현될 수 있으며, 소프트웨어적으로는 하드웨어적인 프로세서(240)를 구동시키는 프로그램 형태로 구현될 수 있다. 한편, 이하의 설명에서 특별한 언급이 없는 경우에는 서버 디바이스(100) 및 사용자 디바이스(200)의 동작은 프로세서(240)의 제어에 의해 수행되는 것으로 해석될 수 있다. 즉, 상술한 정보 제공 시스템에 구현되는 모듈들이 실행되는 경우, 모듈들은 프로세서(240)가 서버 디바이스(100) 및 사용자 디바이스(200)를 이하의 동작들을 수행하도록 제어하는 것으로 해석될 수 있다.

요약하면, 다양한 실시예들은 다양한 수단을 통해 구현될 수 있다. 예를 들어, 다양한 실시예들은 하드웨어, 펌웨어(firmware), 소프트웨어 또는 그것들의 결합 등에 의해 구현될 수 있다.

하드웨어에 의한 구현의 경우, 다양한 실시예들에 따른 방법은 하나 또는 그 이상의 ASICs(application specific integrated circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 프로세서, 콘트롤러, 마이크로 콘트롤러, 마이크로 프로세서 등에 의해 구현될 수 있다.

펌웨어나 소프트웨어에 의한 구현의 경우, 다양한 실시예들에 따른 방법은 이하에서 설명된 기능 또는 동작들을 수행하는 모듈, 절차 또는 함수 등의 형태로 구현될 수 있다. 예를 들어, 소프트웨어 코드는 메모리에 저장되어 프로세서에 의해 구동될 수 있다. 상기 메모리는 상기 프로세서 내부 또는 외부에 위치할 수 있으며, 이미 공지된 다양한 수단에 의해 상기 프로세서와 데이터를 주고받을 수 있다.

이하에서는, 상기와 같은 기술적 사상에 기반하여 다양한 실시예들에 대해 보다 상세히 설명한다. 이하에서 설명되는 다양한 실시예들에 대해서는 앞서 설명한 내용들이 적용될 수 있다. 예를 들어, 이하에서 설명되는 다양한 실시예들에서 정의되지 않은 동작, 기능, 용어 등은 앞서 설명한 내용들에 기반하여 수행되고 설명될 수 있다.

이하의 설명에서는 전자 장치가 정보 제공 동작을 수행함을 전제로 다양한 실시예들에 대하여 설명한다.

도 3은 다양한 실시예들에 따른 정보 제공을 위한 서버 디바이스(100)의 동작 방법을 도시한 도면이다.

도 3에 따를 때 서버 디바이스(100)는 사용자에 대하여 설정된 A/B 테스트에 대응하는 테스트 결과 정보를 제공하며, 테스트 결과 정보를 제공하는 동작을 수행하기 위해, 서비스를 위한 A/B 테스트를 관리하는 테스트 관리 페이지 상에서, A/B 테스트가 적용될 서비스의 제1 사용자에 대한 정보를 확인하고(301), 제1 사용자에 대응하여 설정된 하나 이상의 A/B 테스트를 포함하는 제1 테스트 그룹에 대한 정보를 확인하며(303), 제1 테스트 그룹에 포함된 각 A/B 테스트에 대한 옵션 값을 설정한 제1 입력에 기반하여, 서비스 상에서 제1 사용자에 대응하여 확인되는 테스트 결과 정보를 제공할 수 있다(305).

도 3에 따라 서버 디바이스(100)가 테스트 결과 정보를 제공하는 동작은 서버 디바이스(100)가 제공하는 서비스 또는 서버 디바이스(100)와 관련된 서비스를 위해 수행될 수 있으며, 상기 서비스는 서비스에서 판매되는 복수의 아이템들을 서비스를 이용하는 복수의 사용자가 주문 및 구매할 수 있는 서비스에 해당할 수 있다. 서비스에서 판매되는 복수의 아이템들은 아이템의 종류 또는 타입 등에 제한되지 않고 판매자가 아이템을 판매하기 위해 등록하는 다양한 종류 또는 타입의 아이템을 포함할 수 있다.

또한, 도 3에서 서버 디바이스(100)가 정보를 확인하는 대상인 사용자는 A/B 테스트를 적용할 수 있도록 사전에 관리되는 사용자로서, 서버 디바이스(100)는 사용자의 계정 또는 사용자의 단말을 식별 및 지정하는 형태로 사용자에 대해 A/B 테스트를 적용할 수 있으며, 이와 같은 A/B 테스트를 위해 지정되는 사용자의 계정 또는 단말은 서비스를 위한 다양한 테스트 관리자들에게 공유될 수 있다. A/B 테스트를 위해 지정되는 사용자의 계정 또는 단말을 공유 받은 테스트 관리자들은, 지정된 사용자의 계정 또는 단말에 각 테스트 관리자가 원하는 A/B 테스트를 적용하고 상기 사용자의 계정 또는 단말에서 테스트 결과를 확인함으로써 서비스를 테스트 할 수 있다. 여기서, A/B 테스트는 서비스 상의 특정한 하위 서비스 또는 기능 등을 대상으로 2 이상의 컨텐츠/버전을 적용하고 비교하여 그 결과와 효과를 판단하는 테스트 방법을 의미할 수 있으며, 분할 테스트 및/또는 버킷 테스트로도 이해될 수 있다.

다양한 실시예들에 따르면, 동작 301에서, 서버 디바이스(100)는 서비스를 위한 A/B 테스트를 관리하는 테스트 관리 페이지 상에서, A/B 테스트가 적용될 서비스의 제1 사용자에 대한 정보를 확인할 수 있다.

예를 들어, 서버 디바이스(100)가 제1 사용자에 대한 정보를 확인하는 동작 301은, 서비스를 위한 A/B 테스트를 적용하도록 관리되는 복수의 사용자 중 제1 사용자를 선택하는 입력이 획득되어, 획득된 입력에 대응해 선택된 제1 사용자에 대한 정보를 제공하는 동작에 해당할 수 있다. 즉, 서비스에 대해서 A/B 테스트를 적용하기 위해 복수의 사용자가 계정 또는 단말을 통해 식별 및 지정되는 형태로써 관리될 수 있는데, 이와 같이 관리되는 복수의 사용자 중 테스트 관리자가 제1 사용자를 선택하는 입력을 하는 경우 서버 디바이스(100)는 제1 사용자에 대한 정보를 확인할 수 있다.

예를 들어, 제1 사용자는 제1 사용자의 서비스 계정을 식별하는 제1 식별 정보에 기반하여 특정될 수 있으며, 동작 301에 따라 서버 디바이스(100)가 확인하는 제1 사용자에 대한 정보에는 상기 제1 식별 정보가 포함될 수 있다. 즉, A/B 테스트를 적용할 제1 사용자를 관리 및 식별하기 위해 제1 사용자의 서비스 계정을 식별하는 식별 정보가 활용될 수 있으며, 이와 같은 식별 정보의 일 예로 사용자의 서비스 계정에 대응하는 시리얼 넘버(serial number)가 있을 수 있다.

예를 들어, 제1 사용자는 제1 사용자의 사용자 단말을 식별하는 제2 식별 정보에 기반하여 특정될 수 있으며, 동작 301에 따라 서버 디바이스(100)가 확인하는 제1 사용자에 대한 정보에는 상기 제2 식별 정보가 포함될 수 있다. 즉, A/B 테스트를 적용할 제1 사용자를 관리 및 식별하기 위해 제1 사용자의 사용자 단말을 식별하는 식별 정보가 활용될 수 있으며, 이와 같은 식별 정보의 일 예로 사용자의 사용자 단말에 대응하는 개인 단말 식별자(Personal Computer Identifier; PCID)가 있을 수 있다.

도 4 내지 도 5는 사용자를 특정할 수 있는 식별 정보에 기반하여 사용자에 대한 A/B 테스트를 관리하는 일 예시를 도시한 도면이다.

도 4에서 A/B 테스트를 적용하기 위해 관리되는 사용자가 서비스 계정을 식별하는 식별 정보에 기반하여 특정될 수 있으며(401), 해당 서비스 계정에 대응하는 사용자에게 A/B 테스트를 적용하기 위한 테스트 그룹이 설정되어(403), 테스트 관리자가 테스트 그룹에 포함된 각 A/B 테스트를 사용자에게 적용하고 해당 사용자의 서비스 계정에서 테스트 결과를 확인할 수 있다.

도 5에서는 A/B 테스트를 적용하기 위해 관리되는 사용자가 사용자 단말을 식별하는 식별 정보에 기반하여 특정될 수 있으며(501), 해당 사용자 단말에 대응하는 사용자에게 A/B 테스트를 적용하기 위한 테스트 그룹이 설정되어(503), 테스트 관리자가 테스트 그룹에 포함된 각 A/B 테스트를 사용자에게 적용하고 해당 사용자의 사용자 단말에서 테스트 결과를 확인할 수 있다.

다양한 실시예들에 따르면, 동작 303에서, 서버 디바이스(100)는 제1 사용자에 대응하여 설정된 하나 이상의 A/B 테스트를 포함하는 제1 테스트 그룹에 대한 정보를 확인할 수 있다.

예를 들어, 동작 303에 따라 서버 디바이스(100)가 확인하는 제1 테스트 그룹에 대한 정보는, 제1 테스트 그룹 내 하나 이상의 A/B 테스트에 포함된 각 A/B 테스트에 대한 정보를 포함할 수 있다. 각 A/B 테스트에 대한 정보는, 1) 각 A/B 테스트의 테스트 식별 번호에 대한 정보, 2) 각 A/B 테스트의 명칭에 대한 정보, 3) 각 A/B 테스트에서 설정 가능한 하나 이상의 옵션 값에 대한 정보, 4) 각 A/B 테스트의 적용 대상 타입에 대한 정보, 및/또는 5) 각 A/B 테스트의 적용 대상 플랫폼에 대한 정보를 포함할 수 있다.

여기서, A/B 테스트의 테스트 식별 번호는 A/B 테스트를 식별하기 위해 부여하는 번호를 의미하며, A/B 테스트에서 설정 가능한 하나 이상의 옵션 값은 A/B 테스트를 통해 비교하고자 하는 여러 컨텐츠/버전을 적용하는 옵션의 값을 의미할 수 있다. A/B 테스트에서 설정 가능한 하나 이상의 옵션 값은 A, B, C, ?, None 등의 형태일 수 있으며, 이는 옵션 A에 대응하는 컨텐츠/버전(A), 옵션 B에 대응하는 컨텐츠/버전(B), 옵션 C에 대응하는 컨텐츠/버전(C), ... 등을 적용하도록 설정된 값 혹은 아무런 컨텐츠/버전을 적용하지 않도록 설정된 값(None)을 의미할 수 있다.

또한, A/B 테스트의 적용 대상 타입이란 A/B 테스트가 서비스 계정을 대상으로 적용되는 타입인지 또는 A/B 테스트가 사용자 단말을 대상으로 적용되는 타입인지 등 A/B 테스트가 어느 개체를 대상으로 적용되는지를 타입으로 지정한 것을 의미할 수 있다. 일 예로, 하나의 A/B 테스트는 1) 서비스 계정을 위한 식별 정보의 끝자리가 홀수에 해당하는 서비스 계정을 대상으로만 어느 컨텐츠/버전이 적용되거나, 2) 서비스 계정을 위한 식별 정보의 끝자리가 홀수에 해당하는 서비스 계정에는 어느 컨텐츠/버전이 적용되고 끝자리가 짝수에 해당하는 서비스 계정에는 다른 컨텐츠/버전이 적용되거나, 3) 사용자 단말을 위한 식별 정보의 끝자리가 홀수에 해당하는 사용자 단말을 대상으로만 어느 컨텐츠/버전이 적용되거나, 4) 사용자 단말을 위한 식별 정보의 끝자리가 홀수에 해당하는 사용자 단말에는 어느 컨텐츠/버전이 적용되고 끝자리가 짝수에 해당하는 사용자 단말에는 다른 컨텐츠/버전이 적용되는 등 그 적용 형태에 따라 다양한 타입으로 구분될 수 있으며, 이와 같은 타입에 대한 정보가 A/B 테스트에 대한 정보에 포함될 수 있다.

A/B 테스트의 적용 대상 플랫폼이란 A/B 테스트가 적용되는 서비스를 서빙하는 기기의 플랫폼을 의미할 수 있으며, 일 예로, 스마트폰에 대해서 IOS 및/또는 안드로이드의 각 버전을 대상으로 A/B 테스트의 적용 대상 플랫폼이 결정될 수 있다.

예를 들어, 제1 사용자의 서비스 계정을 식별하는 제1 식별 정보에 기반하여 제1 사용자가 특정되고 서버 디바이스(100)가 동작 301에 따라 확인하는 제1 사용자에 대한 정보에 상기 제1 식별 정보가 포함된 경우에 있어서, 서버 디바이스(100)가 동작 303에 따라 확인하는 제1 테스트 그룹에 포함된 어느 A/B 테스트가 서비스 계정에 대한 식별 정보에 따라 옵션 값이 적용되도록 설정한 테스트에 해당한다면, 서버 디바이스(100)는 해당 A/B 테스트에서 상기 제1 식별 정보에 대응하는 제1 옵션 값이 디폴트(default) 값으로 설정되도록 관리할 수 있다. 하나의 예시로, 서버 디바이스(100)가 동작 303에 따라 확인하는 제1 테스트 그룹에 포함된 제1 A/B 테스트가, 서비스 계정에 대한 식별 정보의 끝자리가 홀수에 해당하는 서비스 계정에 특정의 컨텐츠/버전이 적용되도록 하는 제1 옵션 값을 가지는 등과 같이 서비스 계정에 대한 식별 정보에 따라 옵션 값이 적용되도록 설정한 테스트인 경우에 있어, 상기 제1 식별 정보의 끝자리가 홀수에 해당한다면, 상기 제1 A/B 테스트에서 상기 제1 식별 정보에 대응하여 상기 제1 옵션 값이 자동으로 디폴트(default) 값으로 기본 설정될 수 있다.

예를 들어, 제1 사용자의 사용자 단말을 식별하는 제2 식별 정보에 기반하여 제1 사용자가 특정되고 서버 디바이스(100)가 동작 301에 따라 확인하는 제1 사용자에 대한 정보에 상기 제2 식별 정보가 포함된 경우에 있어서, 서버 디바이스(100)가 동작 303에 따라 확인하는 제1 테스트 그룹에 포함된 어느 A/B 테스트가 사용자 단말에 대한 식별 정보에 따라 옵션 값이 적용되도록 설정한 테스트에 해당한다면, 서버 디바이스(100)는 해당 A/B 테스트에서 상기 제2 식별 정보에 대응하는 제2 옵션 값이 디폴트(default) 값으로 설정되도록 관리할 수 있다. 하나의 예시로, 서버 디바이스(100)가 동작 303에 따라 확인하는 제1 테스트 그룹에 포함된 제2 A/B 테스트가, 사용자 단말에 대한 식별 정보의 끝자리가 짝수에 해당하는 사용자 단말에 특정의 컨텐츠/버전이 적용되도록 하는 제2 옵션 값을 가지는 등과 같이 사용자 단말에 대한 식별 정보에 따라 옵션 값이 적용되도록 설정한 테스트인 경우에 있어, 상기 제2 식별 정보의 끝자리가 짝수에 해당한다면, 상기 제2 A/B 테스트에서 상기 제2 식별 정보에 대응하는 제2 옵션 값이 자동으로 디폴트(default) 값으로 기본 설정될 수 있다.

예를 들어, 동작 303에 따라 서버 디바이스(100)가 정보를 확인하는 제1 테스트 그룹은 제1 사용자에 대응하여 설정된 복수의 테스트 그룹에 포함될 수 있으며, 제1 테스트 그룹에 대한 정보를 확인하는 서버 디바이스(100)의 동작 303은 서버 디바이스(100)가 제1 사용자에 대한 정보에 기반하여 제1 사용자에 대해 설정된 복수의 테스트 그룹에 대한 정보를 확인하고, 복수의 테스트 그룹 중 제1 테스트 그룹을 선택하는 테스트 관리자의 입력에 기반하여 제1 테스트 그룹에 대한 정보를 확인하는 동작에 해당할 수 있다. 즉, A/B 테스트를 적용할 수 있도록 관리되는 사용자에 대하여 복수의 테스트 그룹이 설정될 수 있으며, 테스트 관리자가 원하는 테스트 그룹을 선택하면 서버 디바이스(100)가 선택된 테스트 그룹에 대한 정보를 확인할 수 있다.

다양한 실시예들에 따르면, 동작 305에서, 서버 디바이스(100)는 제1 테스트 그룹에 포함된 각 A/B 테스트에 대한 옵션 값을 설정한 제1 입력에 기반하여, 서비스 상에서 제1 사용자에 대응하여 확인되는 테스트 결과 정보를 제공할 수 있다.

예를 들어, 동작 305에 따라 서버 디바이스(100)가 제공하는 테스트 결과 정보는 제1 테스트 그룹에 포함된 각 A/B 테스트가 적용되어 서비스 상에서 나타나는 결과에 대한 정보를 포함할 수 있다. 테스트 관리자는 제1 테스트 그룹에 포함된 각 A/B 테스트의 옵션 값을 설정하고 제1 사용자에게 테스트 그룹이 적용되도록 한 뒤 그에 대응하여 확인되는 결과를 획득할 수 있다. 테스트 관리자는 테스트 그룹에 포함된 일부의 A/B 테스트만을 적용하기 원할 경우 원하는 일부의 A/B 테스트에 대해 각각 원하는 옵션 값을 설정하고 나머지 A/B 테스트에 대하여는 None의 옵션 값을 설정하는 등의 방식으로 테스트 그룹을 제1 사용자에게 적용할 수 있다.

예를 들어, 제1 테스트 그룹은, 제1 테스트 그룹에 포함된 각 A/B 테스트에 대한 옵션 값을 설정한 제1 입력에 따라 제1 테스트 그룹에 포함된 각 A/B 테스트가 일정한 옵션 값으로 적용되어 있는 상태를 저장할 수 있도록 설정될 수 있다. 즉, 제1 테스트 그룹에 포함된 각 A/B 테스트에 대한 옵션 값이 제1 입력에 따라 일정한 상태로써 설정되어 있을 때 해당 상태를 저장 가능하도록 제1 테스트 그룹이 관리될 수 있으며, 이에 기반하여 편의에 따라 저장된 상태를 호출할 수 있다.

도 6은 테스트 그룹에 포함된 각 A/B 테스트가 일정한 옵션 값으로 적용되어 있는 상태를 저장하도록 설정하는 일 예시를 도시한 도면이다.

도 6에서, 특정의 사용자(601)에 대해 설정되어 있는 테스트 그룹에 대하여(603), 테스트 그룹에 포함된 각 A/B 테스트가 일정한 옵션 값으로 설정되어 있는 상태(605)가 저장되도록 관리될 수 있다(607). 즉, 테스트 그룹에 포함된 각 A/B 테스트에 대해 옵션 값을 테스트 관리자가 지정한 뒤 607과 같이 각 A/B 테스트에 대한 옵션 값이 설정되어 있는 상태를 저장하는 입력을 하는 경우, 605와 같이 각 A/B 테스트에 대해 지정된 옵션 값들이 테스트 그룹 내에서 고정될 수 있으며, 추후 테스트 그룹에 대해 이와 같이 저장된 상태를 그대로 불러오도록 관리될 수도 있다.

예를 들어, 제1 테스트 그룹은, 제1 테스트 그룹에 포함된 각 A/B 테스트에 대한 옵션 값이 적용되어 있는 상태를 저장한 하위 그룹에 해당하는 테스트 상태 설정 셋을 통해 관리될 수도 있다. 이 경우, 제1 테스트 그룹이 하나 이상의 테스트 상태 설정 셋을 포함하여 제1 테스트 그룹에 대한 정보에 제1 테스트 그룹에 포함된 하나 이상의 테스트 상태 설정 셋에 대한 정보가 포함될 수 있다.

제1 테스트 그룹을 위한 하나 이상의 테스트 상태 설정 셋에 포함된 제1 테스트 상태 설정 셋은, 제1 테스트 그룹에 포함된 각 A/B 테스트가 일정한 옵션 값으로 적용되어 있는 상태로써 제1 테스트 그룹을 저장할 수 있으며, 제1 테스트 그룹에 대한 정보에서 하나 이상의 테스트 상태 설정 셋 중 제1 테스트 상태 설정 셋을 선택하는 입력이 있는 경우 상기 제1 테스트 상태 설정 셋에 대응하여 저장된 상태로써 상기 제1 테스트 그룹에 대한 정보가 확인될 수 있다.

유사하게, 상기 하나 이상의 테스트 상태 설정 셋에 포함된 제2 테스트 상태 설정 셋은 제1 테스트 그룹에 포함된 각 A/B 테스트가 일정한 옵션 값으로 적용되어 있는 상태로써 제1 테스트 그룹을 저장할 수 있되, 이 때 제2 테스트 상태 설정 셋을 통해 제1 테스트 그룹에 포함된 각 A/B 테스트의 옵션 값이 적용되어 있는 상태는 제1 테스트 상태 설정 셋과 상이할 수 있다. 마찬가지로, 제1 테스트 그룹에 대한 정보에서 하나 이상의 테스트 상태 설정 셋 중 제2 테스트 상태 설정 셋을 선택하는 입력이 있는 경우 상기 제2 테스트 상태 설정 셋에 대응하여 저장된 상태로써 상기 제1 테스트 그룹에 대한 정보가 확인될 수 있다.

도 7은 테스트 그룹에 포함된 각 A/B 테스트가 일정한 옵션 값으로 적용되어 있는 상태를 저장하기 위해 테스트 그룹에 대응하는 상태 설정 셋을 설정하는 일 예시를 도시한 도면이다.

도 7에서, 특정의 사용자(701)에 대해 설정되어 있는 테스트 그룹에 대하여(703), 테스트 그룹에 포함된 각 A/B 테스트가 일정한 옵션 값으로 설정되어 있는 상태(705)가 특정의 상태 설정 셋과 같은 형태로 저장되도록 관리될 수 있다(707). 즉, 테스트 그룹에 포함된 각 A/B 테스트에 대해 옵션 값을 테스트 관리자가 지정한 뒤 707과 같이 상태 설정 셋으로써 옵션 값이 설정되어 있는 상태를 저장하는 입력을 하는 경우 705와 같이 각 A/B 테스트에 대해 지정된 옵션 값들이 상태 설정 셋 내에서 고정될 수 있으며, 추후 테스트 그룹에서 상태 설정 셋을 선택해 상기와 같이 저장된 상태를 그대로 불러오도록 관리될 수도 있다.

테스트 관리자가 원하는 A/B 테스트의 적용 모습에 따라서 하나의 테스트 그룹에 대해 복수의 상태 설정 셋들이 설정될 수도 있으며, 테스트 관리자는 하나의 테스트 그룹에 대해 설정된 복수의 상태 설정 셋들 중 원하는 상태 설정 셋을 선택해, 선택된 상태 설정 셋에 대응하여 각 A/B 테스트의 옵션 값이 저장된 상태의 테스트 그룹을 불러올 수 있다.

예를 들어, 제1 테스트 그룹은 서비스를 위한 특정의 서비스 주제에 대응하여 설정되고, 동작 303에 따라 서버 디바이스(100)가 확인하는 제1 테스트 그룹에 대한 정보는 특정의 서비스 주제에 대한 정보를 포함할 수 있다. 즉, 하나의 테스트 그룹은 서비스 상에서 특정의 하위 서비스 또는 기능에 대응하는 주제를 공통으로 하는 A/B 테스트를 포함한 그룹일 수 있으며, 이 경우 동작 305에 따라 서버 디바이스(100)가 제공하는 테스트 결과 정보 또한 서비스를 위한 특정의 서비스 주제에 대응하여 확인되는 정보일 수 있다.

예를 들어, 제1 테스트 그룹은 제1 사용자에 대한 A/B 테스트의 적용 여부를 활성화 하는 활성화 입력 및 제1 테스트 그룹에 대한 설정 가능 여부를 활성화 하는 활성화 입력이 확인되는 경우에 제1 테스트 그룹에 A/B 테스트를 추가하거나 제1 테스트 그룹에서 A/B 테스트를 삭제하는 등의 편집이 가능하도록 설정될 수 있다. 즉, 서버 디바이스(100)는 제1 사용자에 대한 A/B 테스트의 적용 여부를 활성화 하는 제1 활성화 정보 및 제1 테스트 그룹에 대한 설정 여부를 활성화 하는 제2 활성화 정보를 제공할 수 있으며, 제1 활성화 정보에 대응하는 입력 및 제2 활성화 정보에 대응하는 입력이 확인되는 점을 기반으로 제1 테스트 그룹이 설정될 수 있다.

도 8은 사용자에 대한 A/B 테스트의 적용 여부를 활성화 하는 입력 및 사용자에 대해 설정된 테스트 그룹의 설정 가능 여부를 활성화 하는 입력에 기반하여 테스트 그룹을 설정하는 일 예시를 도시한 도면이다.

도 8에서 서비스 계정 또는 사용자 단말에 따라 식별되는 각 사용자에 대하여(801), 각 사용자에 대한 A/B 테스트를 적용할 수 있도록 허용할 것인지를 결정하는 제1 버튼 정보가 설정될 수 있으며(803), 제1 버튼 정보에 기반하여 사용자에 대해 A/B 테스트를 적용하는 것이 활성화 된 경우 각 사용자에 대한 A/B 테스트의 관리를 위해 테스트 그룹을 설정 또는 편집할 수 있도록 허용할 것인지를 결정하는 제2 버튼 정보가 설정될 수 있다(805).

도 8에서는 제1 버튼 정보가 활성화 된 경우 사용자에 대한 A/B 테스트를 적용하도록 허용될 수 있고, 제2 버튼 정보가 비활성화 된 경우 사용자에 대한 테스트 그룹을 설정 또는 관리하도록 허용될 수 있는 것으로 도시되어 있으나, 본 발명이 이에 제한되지 않으며, 일 예로, 도 8과 달리 제2 버튼 정보가 활성화 된 경우 사용자에 대한 테스트 그룹을 설정 또는 관리하는 것이 허용되도록 설정될 수도 있다.

예를 들어, 동작 305에 따라 서버 디바이스(100)가 테스트 결과 정보를 제공하는 것은 제1 사용자에 대한 A/B 테스트를 관리하는 하나 이상의 테스트 관리자 중 제1 테스트 그룹을 적용하고자 한 테스트 관리자에게 정보를 제공하는 것일 수 있으며, 그 이전 동작인 동작 303에 따라 서버 디바이스(100)가 제1 테스트 그룹에 대한 정보를 제공하는 것은 제1 사용자에 대한 A/B 테스트를 관리하는 하나 이상의 테스트 관리자 모두에게 정보를 제공하는 것일 수 있다. 즉, 서버 디바이스(100)는 제1 사용자에 대해 설정된 테스트 그룹에 대한 정보가 제1 사용자에 대한 A/B 테스트를 관리하는 하나 이상의 테스트 관리자 모두에게 공유되어 하나 이상의 테스트 관리자 누구든 테스트 그룹에 접근할 수 있도록 관리하되, 테스트 그룹의 적용에 따른 테스트 결과 정보는 테스트 그룹을 통해 A/B 테스트를 수행하고자 한 테스트 관리자에게만 별도 제공되도록 설정할 수 있다.

예를 들어, 제1 테스트 그룹에 포함된 각 A/B 테스트는 상기 제1 테스트 그룹에서 상호 간 충돌이 없도록 사전에 관리될 수 있다. 즉, 하나의 테스트 그룹에 포함된 각 A/B 테스트는 동시에 적용될 수 있으므로, 테스트 적용에 따른 상호 간의 충돌이 없도록 사전에 관리되도록 설정될 수 있다.

도 3 내지 도 8에 따라 서버 디바이스(100)가 정보 제공을 위한 동작 방법을 수행하는 과정에서 활용되는 각 정보들이 다양한 형태로 결합될 수 있음은 자명하다.

본 명세서와 도면에 개시된 본 발명의 실시예들은 본 발명의 기술 내용을 쉽게 설명하고 본 발명의 이해를 돕기 위해 특정 예를 제시한 것일 뿐이며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 즉 본 발명의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은 본 발명의 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명한 것이다. 또한 상기 각각의 실시 예는 필요에 따라 서로 조합되어 운용할 수 있다. 예컨대, 본 발명의 모든 실시 예는 일부분들이 서로 조합되어 시스템에 의해 구현될 수 있다.

또한, 본 발명에 따른 시스템 등에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다.

이와 같이, 본 발명의 다양한 실시예들은 특정 관점에서 컴퓨터 리드 가능 기록 매체(computer readable recording medium)에서 컴퓨터 리드 가능 코드(computer readable code)로서 구현될 수 있다. 컴퓨터 리드 가능 기록 매체는 컴퓨터 시스템에 의해 리드될 수 있는 데이터를 저장할 수 있는 임의의 데이터 저장 디바이스이다. 컴퓨터 리드 가능 기록 매체의 예들은 읽기 전용 메모리(read only memory: ROM)와, 랜덤-접속 메모리(random access memory: RAM)와, 컴팩트 디스크- 리드 온니 메모리(compact disk-read only memory: CD-ROM)들과, 마그네틱 테이프(magnetic tape)들과, 플로피 디스크(floppy disk)들과, 광 데이터 저장 디바이스들, 및 캐리어 웨이브(carrier wave)들(인터넷을 통한 데이터 송신 등)을 포함할 수 있다. 컴퓨터 리드 가능 기록 매체는 또한 네트워크 연결된 컴퓨터 시스템들을 통해 분산될 수 있고, 따라서 컴퓨터 리드 가능 코드는 분산 방식으로 저장 및 실행된다. 또한, 본 발명의 다양한 실시예들을 성취하기 위한 기능적 프로그램들, 코드, 및 코드 세그먼트(segment)들은 본 발명이 적용되는 분야에서 숙련된 프로그래머들에 의해 쉽게 해석될 수 있다.

또한 본 발명의 다양한 실시예들에 따른 장치 및 방법은 하드웨어, 소프트웨어 또는 하드웨어 및 소프트웨어의 조합의 형태로 실현 가능하다는 것을 알 수 있을 것이다. 이러한 소프트웨어는 예를 들어, 삭제 가능 또는 재 기록 가능 여부와 상관없이, ROM 등의 저장 장치와 같은 휘발성 또는 비 휘발성 저장 장치, 또는 예를 들어, RAM, 메모리 칩, 장치 또는 집적 회로와 같은 메모리, 또는 예를 들어 콤팩트 디스크(compact disk: CD), DVD, 자기 디스크 또는 자기 테이프 등과 같은 광학 또는 자기적으로 기록 가능함과 동시에 기계(예를 들어, 컴퓨터)로 읽을 수 있는 저장 매체에 저장될 수 있다. 본 발명의 다양한 실시예들에 따른 방법은 제어부 및 메모리를 포함하는 컴퓨터 또는 이와 같은 메모리 또는 컴퓨터를 포함한 차량 등에 의해 구현될 수 있고, 이러한 메모리는 본 발명의 실시예들을 구현하는 명령들을 포함하는 프로그램 또는 프로그램들을 저장하기에 적합한 기계로 읽을 수 있는 저장 매체의 한 예임을 알 수 있을 것이다.

따라서, 본 발명은 본 명세서의 청구항에 기재된 장치 또는 방법을 구현하기 위한 코드를 포함하는 프로그램 및 이러한 프로그램을 저장하는 기계(컴퓨터 등)로 읽을 수 있는 저장 매체를 포함한다. 또한, 이러한 프로그램은 유선 또는 무선 연결을 통해 전달되는 통신 신호와 같은 임의의 매체를 통해 전자적으로 이송될 수 있고, 본 발명은 이와 균등한 것을 적절하게 포함한다.

상기에서는 본 발명의 실시예들을 참조하여 설명하였지만, 본 명세서와 도면에 개시된 본 발명의 실시예들은 본 발명의 기술 내용을 쉽게 설명하고 본 발명의 이해를 돕기 위해 특정 예를 제시한 것일 뿐이며 본 발명의 범위를 한정하고자 하는 것은 아니다. 또한 앞서 설명된 본 발명에 따른 실시예들은 예시적인 것에 불과하며, 당해 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 범위의 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 다음의 특허청구범위에 의해서 정해져야 할 것이다.

Claims

전자 장치가 정보를 제공하는 방법에 있어서,
상기 전자 장치가 제공하는 서비스를 위한 A/B 테스트를 관리하는 테스트 관리 페이지 상에서, A/B 테스트가 적용될 상기 서비스의 제1 사용자에 대한 정보를 확인하는 단계;
상기 제1 사용자에 대응하여 설정된 하나 이상의 A/B 테스트를 포함하는 제1 테스트 그룹에 대한 정보를 확인하는 단계; 및
상기 제1 테스트 그룹에 포함된 각 A/B 테스트에 대한 옵션 값을 설정한 제1 입력에 기반하여, 상기 서비스 상에서 상기 제1 사용자에 대응하여 확인되는 테스트 결과 정보를 제공하는 단계를 포함하고,
상기 제1 사용자에 대한 A/B 테스트의 적용 여부를 활성화 하는 제1 버튼 정보 및 상기 제1 테스트 그룹에 대한 설정 여부를 활성화 하는 제2 버튼 정보가 설정되고,
상기 제1 버튼 정보에 대응하는 제1 버튼 입력 및 상기 제2 버튼 정보에 대응하는 제2 버튼 입력에 기반하여 상기 제1 사용자를 위한 상기 제1 테스트 그룹에 대한 설정 및 적용이 활성화 된 경우, 상기 각 A/B 테스트의 옵션 값을 지정하기 위한 각 제3 버튼 정보가 활성화 되는,
정보 제공 방법.
제 1 항에 있어서,
상기 제1 사용자에 대한 정보를 확인하는 단계는,
상기 서비스를 위한 A/B 테스트를 적용하도록 관리되는 복수의 사용자 중 상기 제1 사용자를 선택하는 제2 입력을 획득하는 단계; 및
상기 제2 입력에 대응하여 상기 제1 사용자에 대한 정보를 확인하는 단계를 포함하는,
정보 제공 방법.
제 1 항에 있어서,
상기 제1 사용자는 상기 제1 사용자의 서비스 계정을 식별하는 제1 식별 정보에 기반하여 특정되고,
상기 제1 사용자에 대한 정보는 상기 제1 식별 정보를 포함하는,
정보 제공 방법.
제 3 항에 있어서,
서비스 계정에 대한 식별 정보에 따라 옵션 값이 적용되도록 설정한 제1 A/B 테스트가 상기 제1 테스트 그룹에 포함된 경우, 상기 제1 A/B 테스트에서 상기 제1 식별 정보에 대응하는 제1 옵션 값이 디폴트(default) 값으로 설정되는,
정보 제공 방법.
제 1 항에 있어서,
상기 제1 사용자는 상기 제1 사용자의 사용자 단말을 식별하는 제2 식별 정보에 기반하여 특정되고,
상기 제1 사용자에 대한 정보는 상기 제2 식별 정보를 포함하는,
정보 제공 방법.
제 5 항에 있어서,
사용자 단말에 대한 식별 정보에 따라 옵션 값이 적용되도록 설정한 제2 A/B 테스트가 상기 제1 테스트 그룹에 포함된 경우, 상기 제2 A/B 테스트에서 상기 제2 식별 정보에 대응하는 제2 옵션 값이 디폴트(default) 값으로 설정되는,
정보 제공 방법.
제 1 항에 있어서,
상기 제1 테스트 그룹에 포함된 각 A/B 테스트에 대한 정보는,
상기 각 A/B 테스트의 테스트 식별 번호에 대한 정보,
상기 각 A/B 테스트의 명칭에 대한 정보,
상기 각 A/B 테스트에서 설정 가능한 하나 이상의 옵션 값에 대한 정보,
상기 각 A/B 테스트의 적용 대상 타입에 대한 정보, 및
상기 각 A/B 테스트의 적용 대상 플랫폼에 대한 정보를 포함하는,
정보 제공 방법.
제 1 항에 있어서,
상기 제1 테스트 그룹은 상기 제1 사용자에 대응하여 설정된 복수의 테스트 그룹에 포함되고,
상기 제1 테스트 그룹에 대한 정보를 확인하는 단계는,
상기 제1 사용자에 대한 정보에 기반하여 상기 복수의 테스트 그룹에 대한 정보를 확인하는 단계; 및
상기 복수의 테스트 그룹 중 상기 제1 테스트 그룹을 선택하는 제3 입력에 기반하여 상기 제1 테스트 그룹에 대한 정보를 확인하는 단계를 포함하는,
정보 제공 방법.
제 1 항에 있어서,
상기 제1 테스트 그룹은, 상기 제1 입력에 따라 상기 제1 테스트 그룹에 포함된 각 A/B 테스트가 일정한 옵션 값으로 적용되어 있는 상태를 저장할 수 있도록 설정되는,
정보 제공 방법.
제 1 항에 있어서,
상기 제1 테스트 그룹에 대한 정보는, 상기 제1 테스트 그룹에 포함된 하나 이상의 테스트 상태 설정 셋에 대한 정보를 포함하고,
상기 하나 이상의 테스트 상태 설정 셋에 포함된 제1 테스트 상태 설정 셋은, 상기 제1 테스트 그룹에 포함된 각 A/B 테스트가 일정한 옵션 값으로 적용되어 있는 상태로써 상기 제1 테스트 그룹을 저장하고,
상기 제1 테스트 상태 설정 셋에 대한 제4 입력이 있는 경우, 상기 제1 테스트 상태 설정 셋에 대응하여 저장된 상태로써 상기 제1 테스트 그룹에 대한 정보가 확인될 수 있도록 설정되는,
정보 제공 방법.
제 1 항에 있어서,
상기 제1 테스트 그룹은 상기 서비스를 위한 특정의 서비스 주제에 대응하여 설정되고,
상기 제1 테스트 그룹에 대한 정보는 상기 특정의 서비스 주제에 대한 정보를 포함하는,
정보 제공 방법.
삭제
제 1 항에 있어서,
상기 정보 제공 방법은,
상기 제1 사용자에 대한 A/B 테스트를 관리하는 하나 이상의 테스트 관리자에게 상기 제1 테스트 그룹에 정보를 제공하는 단계를 더 포함하는,
정보 제공 방법.
제 1 항에 있어서,
상기 제1 테스트 그룹에 포함된 각 A/B 테스트는 상기 제1 테스트 그룹에서 상호 간 충돌이 없도록 사전에 관리되는,
정보 제공 방법.
정보를 제공하는 전자 장치에 있어서,
프로세서 (processor); 및
하나 이상의 인스트럭션 (instruction) 을 저장하는 하나 이상의 메모리 (memory) 를 포함하고,
상기 하나 이상의 인스트럭션은, 실행 시에, 상기 프로세서가:
상기 전자 장치가 제공하는 서비스를 위한 A/B 테스트를 관리하는 테스트 관리 페이지 상에서, A/B 테스트가 적용될 상기 서비스의 제1 사용자에 대한 정보를 확인하는 단계;
상기 제1 사용자에 대응하여 설정된 하나 이상의 A/B 테스트를 포함하는 제1 테스트 그룹에 대한 정보를 확인하는 단계; 및
상기 제1 테스트 그룹에 포함된 각 A/B 테스트에 대한 옵션 값을 설정한 제1 입력에 기반하여, 상기 서비스 상에서 상기 제1 사용자에 대응하여 확인되는 테스트 결과 정보를 제공하는 단계를 수행하도록 상기 프로세서를 제어하고,
상기 제1 사용자에 대한 A/B 테스트의 적용 여부를 활성화 하는 제1 버튼 정보 및 상기 제1 테스트 그룹에 대한 설정 여부를 활성화 하는 제2 버튼 정보가 설정되고,
상기 제1 버튼 정보에 대응하는 제1 버튼 입력 및 상기 제2 버튼 정보에 대응하는 제2 버튼 입력에 기반하여 상기 제1 사용자를 위한 상기 제1 테스트 그룹에 대한 설정 및 적용이 활성화 된 경우, 상기 각 A/B 테스트의 옵션 값을 지정하기 위한 각 제3 버튼 정보가 활성화 되는,
전자 장치.