KR20220029601A

KR20220029601A - 실험 플랫폼 엔진

Info

Publication number: KR20220029601A
Application number: KR1020220013650A
Authority: KR
Inventors: 응옥-란 이사벨 판; 준 예; 베이베이 예; 서철
Original assignee: 쿠팡 주식회사
Priority date: 2020-08-28
Filing date: 2022-01-28
Publication date: 2022-03-08
Also published as: TWI785452B; US11797423B2; KR102359352B1; US20220066913A1; WO2022043761A1; TW202311952A; US11232018B1; TW202209117A

Abstract

제어된 테스트를 위한 컴퓨터화 된 방법으로서, 방법은 이벤트 데이터에 대한 설계 사양을 제공하고-설계 사양은 하나 이상의 테스트 메트릭의 소스를 포함함-; 하나 이상의 테스트 메트릭의 소스로부터 테스트 메트릭들을 검색하고-각 테스트 메트릭은 하나 이상의 이벤트 데이터 형식 규칙과 연관됨-; 설계 사양에 기초하여 테스트 이벤트를 구성하고-테스트 이벤트를 구성하는 것은, 이벤트 데이터 소스로부터 하나 이상의 테스트 이벤트를 검색하고; 검색된 테스트 이벤트를 세그먼트로 필터링하고; 그리고 설계 사양에 기초하여 세그먼트를 형식화하는 것에 의해 수행됨-; 구성된 테스트 이벤트에 테스트 메트릭을 적용하여 분석 데이터를 생성하고; 테스트 규칙에 기초하여 출력 데이터를 생성하고; 그리고 출력 데이터를 디스플레이 하기 위한 사용자 인터페이스를 생성하는 것을 포함한다.

Description

실험 플랫폼 엔진{EXPERIMENT PLATFORM ENGINE}

본 개시는 일반적으로 실험 플랫폼 엔진을 위한 컴퓨터화 된 시스템 및 방법에 관한 것이다. 특히, 본 개시의 실시예는 A/B 테스트의 결과를 해석하는 데 필요한 메트릭의 구성 및 계산에 사용되는 창의적이고 비전통적인 시스템에 관한 것이다.

"무작위 제어 실험"으로도 알려진 A/B 테스트는 프로세스를 개선하기 위한 방법론으로, 종종 컴퓨터 시스템의 사용자 경험과 관련된다. 이 방법론에서 얻은 결과 데이터는 컴퓨터 시스템의 다양한 기술적 측면을 개선하여 더 빠른 작동, 더 쉬운 사용, 오류율 감소, 최적화된 사용자 인터페이스 및 컴퓨터 시스템의 사용자 만족도에 대한 기타 향상을 이루는 데 사용될 수 있다.

A/B 테스트의 한 양태는 유용한 결과를 얻기 위해 데이터를 처리하는 것이다. 주어진 시스템에 대해 또는 여러 시스템 중에서 각 작업 또는 서브 시스템에 대해 수많은 A/B 테스트를 설계할 수 있다. 각 테스트는 다른 유형의 데이터를 생성할 수 있으며 경우에 따라 다른 처리가 필요할 수 있다. 실험 플랫폼 엔진은 유용한 결과를 얻기 위해 이러한 데이터를 처리하고 분석하는 데 사용될 수 있다.

기존 실험 플랫폼 엔진은 구성 가능성, 처리 속도 및 처리량에서 제한될 수 있으며, 따라서 전체 기능 및 유용성이 감소한다. 경우에 따라 하나의 A/B 테스트가 다른 A/B 테스트와 크게 다를 수 있으므로 하나의 실험 플랫폼 엔진은 광범위한 사용자 지정없이 두 A/B 테스트의 데이터를 분석하는 데 적합하지 않을 수 있다. 관련된 A/B 테스트의 경우에도 사소한 변형으로 인해 실험 플랫폼 엔진을 수정해야 할 수 있으며, 이로 인해 전체 시스템 작동이 지연될 수 있다. 지연은 실험 플랫폼 엔진의 처리량을 감소시켜 이로 인해 수행되고 처리되는 전체 테스트 및 데이터 수가 최적이 아닐 수 있다.

따라서, 실험 플랫폼 엔진을 구현하기 위한 개선된 방법 및 시스템이 필요하다.

본 개시의 한 양태는 제어된 테스트를 위한 컴퓨터화 된 방법에 관한 것으로, 이벤트 데이터에 대한 설계 사양을 제공하고-설계 사양은 이벤트 데이터 소스, 이벤트 데이터 필터 및 이벤트 형식 중 적어도 하나를 포함함-; 테스트 메트릭을 검색하고; 설계 사양에 기초하여 테스트 이벤트를 구성하고-테스트 이벤트를 구성하는 것은, 설계 사양에 지정된 이벤트 데이터 소스로부터 테스트 이벤트를 검색하고; 설계 사양에 기초하여 검색된 테스트 이벤트를 필터링하고; 및 검색된 설계 사양에 기초하여 필터링 된 테스트 이벤트를 형식화하는 것에 의해 수행됨-; 구성된 이벤트 데이터에 테스트 메트릭을 적용하여 분석 데이터를 생성하고; 테스트 규칙에 기초하여 출력 데이터를 생성하고; 그리고 출력 데이터를 디스플레이 하기 위한 사용자 인터페이스를 생성하는 것을 포함한다.

본 개시의 다른 양태는 제어된 테스트를 위한 방법에 관한 것으로서, 사용자 인터페이스; 명령을 저장하는 메모리; 및 동작을 수행하기 위해 명령을 실행하도록 구성된 하나 이상의 프로세서를 포함하고, 동작은, 사용자 인터페이스를 통해 이벤트 데이터에 대한 설계 사양을 제공하는 것-설계 사양은 이벤트 데이터 소스, 이벤트 데이터 필터 및 이벤트 형식 중 적어도 하나를 포함함-; 테스트 메트릭을 검색하는 것; 설계 사양에 기초하여 테스트 이벤트를 구성하는 것-테스트 이벤트를 구성하는 것은, 설계 사양에 지정된 이벤트 데이터 소스로부터 테스트 이벤트를 검색하는 것; 설계 사양에 기초하여 검색된 테스트 이벤트를 필터링하는 것; 및 설계 사양에 기초하여 필터링 된 테스트 이벤트를 형식화하는 것에 의해 수행됨-; 구성된 이벤트 데이터에 테스트 메트릭을 적용하여 분석 데이터를 생성하는 것; 테스트 규칙에 기초하여 출력 데이터를 생성하는 것; 및 사용자 인터페이스에 출력 데이터를 디스플레이 하는 것을 포함한다.

본 개시의 또 다른 양태는 제어된 테스트를 위한 시스템 플랫폼에 관한 것으로서, 사용자 인터페이스 디스플레이; 하나 이상의 데이터베이스; 컴퓨터 판독 가능 명령을 저장하는 하나 이상의 메모리; 및 단계를 수행하기 위해 저장된 명령을 실행하도록 구성된 하나 이상의 프로세서를 포함하고, 표준화 된 설계 문서의 형태로 설계 사양을 제공하는 단계-표준화된 설계 문서는, 이벤트 데이터 소스, 이벤트 데이터 필터 및 이벤트 형식 중 적어도 하나; 하나 이상의 테스트 메트릭 소스; 및 하나 이상의 테스트 규칙 소스를 지정함-; 하나 이상의 데이터베이스에 저장된 지정된 테스트 소스로부터 테스트 메트릭을 검색하는 단계; 설계 사양에 기초하여 테스트 이벤트를 구성하는 단계-테스트 이벤트를 구성하는 단계는, 하나 이상의 데이터베이스에 저장된 이벤트 데이터 소스로부터 테스트 이벤트를 검색하는 단계; 테스트 기간, 테스트 지역 또는 이벤트 데이터 유형 중 적어도 하나에 기초하여 검색된 테스트 이벤트를 필터링하는 단계; 및 설계 사양에 기초한 하나 이상의 이벤트 데이터 형식 규칙에 기초하여 필터링 된 테스트 이벤트를 형식화하는 단계에 의해 수행됨-; 구성된 이벤트 데이터에 테스트 메트릭을 적용하여 분석 데이터를 생성하는 단계; 테스트 규칙에 기초하여 출력 데이터를 생성하는 단계; 및 출력 데이터를 디스플레이 하기 위한 사용자 인터페이스를 생성하는 단계를 포함한다.

본 개시의 또 다른 양태는 제어된 테스트를 위한 컴퓨터화 된 방법으로서, 이벤트 데이터에 대한 설계 사양을 제공하고-설계 사양은 하나 이상의 테스트 메트릭의 소스를 포함함-; 하나 이상의 테스트 메트릭의 소스로부터 테스트 메트릭들을 검색하고-각 테스트 메트릭은 하나 이상의 이벤트 데이터 형식 규칙과 연관됨-; 설계 사양에 기초하여 테스트 이벤트를 구성하고-테스트 이벤트를 구성하는 것은, 이벤트 데이터 소스로부터 하나 이상의 테스트 이벤트를 검색하고; 검색된 테스트 이벤트를 세그먼트로 필터링하고; 그리고 설계 사양에 기초하여 세그먼트를 형식화하는 것에 의해 수행됨-; 구성된 테스트 이벤트에 테스트 메트릭을 적용하여 분석 데이터를 생성하고; 테스트 규칙에 기초하여 출력 데이터를 생성하고; 그리고 출력 데이터를 디스플레이 하기 위한 사용자 인터페이스를 생성하는 것을 포함할 수 있다.

본 개시의 또 다른 양태는 제어된 테스트를 위한 시스템으로서, 사용자 인터페이스; 명령을 저장하는 메모리; 및 동작을 수행하기 위해 명령을 실행하도록 구성된 적어도 하나의 프로세서를 포함하고, 동작은, 이벤트 데이터에 대한 설계 사양을 제공하는 것-설계 사양은 하나 이상의 테스트 메트릭들을 포함하고, 각 테스트 메트릭은 하나 이상의 이벤트 데이터 형식 규칙과 연관됨-; 설계 사양에 기초하여 테스트 이벤트를 구성하는 것-테스트 이벤트를 구성하는 것은, 이벤트 데이터 소스로부터 하나 이상의 테스트 이벤트를 검색하는 것; 검색된 테스트 이벤트를 세그먼트로 필터링하는 것; 및 설계 사양에 기초하여 세그먼트를 형식화하는 것에 의해 수행됨-; 구성된 테스트 이벤트에 테스트 메트릭을 적용하여 분석 데이터를 생성하는 것; 테스트 규칙에 기초하여 출력 데이터를 생성하는 것; 및 출력 데이터를 디스플레이 하기 위한 사용자 인터페이스를 생성하는 것을 포함할 수 있다.

다른 시스템, 방법 및 컴퓨터 판독 가능 매체도 본 명세서에서 논의된다.

도 1a는 개시된 실시예에 따른, 배송, 운송, 및 물류 운영을 가능하게 하는 통신을 위한 컴퓨터 시스템을 포함하는 네트워크의 예시적인 실시예를 나타낸 개략적인 블록도이다.
도 1b는 개시된 실시예에 따른, 상호 동작 사용자 인터페이스 요소에 따라 검색 요청을 만족시키는 하나 이상의 검색 결과를 포함하는 검색 결과 페이지(SRP; Search Result Page)의 샘플을 나타낸 도면이다.
도 1c는 개시된 실시예에 따른, 상호 동작 사용자 인터페이스 요소에 따라 제품 및 제품에 대한 정보를 포함하는 싱글 디스플레이 페이지(SDP; Single Display Page)의 샘플을 나타낸 도면이다.
도 1d는 개시된 실시예에 따른, 상호 동작 사용자 인터페이스 요소에 따라 가상의 쇼핑 장바구니에 아이템을 포함하는 장바구니 페이지의 샘플을 나타낸 도면이다.
도 1e는 개시된 실시예에 따른, 상호 동작 사용자 인터페이스 요소에 따라, 가상의 쇼핑 장바구니로부터 구매 및 배송에 관한 정보에 따른 아이템을 포함하는 주문 페이지의 샘플을 나타낸 도면이다.
도 2는 개시된 실시예에 따른, 개시된 컴퓨터 시스템을 활용하도록 구성된 예시적인 풀필먼트 센터의 개략적인 도면이다.
도 3은 개시된 실시예에 따른, 예시적인 A/B 테스트의 개략도를 도시한다.
도 4는 개시된 실시예에 따른, 예시적인 실험 플랫폼 엔진의 개략도를 도시한다.
도 5는 개시된 실시예에 따른, 실험 플랫폼 엔진의 예시적인 프로세스의 흐름도를 도시한다.
도 6은 개시된 실시예에 따른, 예시적인 사용자 인터페이스를 도시한다.

이어서 첨부된 도면을 참조하여 자세하게 설명된다. 가능하면, 다음의 설명에서 같거나 유사한 부분에 대해 참조되도록 도면에서 같은 도면 부호가 사용된다. 여기에 몇몇 예시적인 실시예가 설명되지만, 변경, 조정 및 다른 구현도 가능하다. 예를 들면, 도면 내의 구성 및 스텝에 대해 교체, 추가, 또는 변경이 이루어질 수 있고, 여기에 설명된 예시적인 방법은 개시된 방법에 대해 스텝을 교체, 순서 변경, 제거 또는 추가함으로써 변경될 수 있다. 따라서, 다음의 자세한 설명은 개시된 실시예 및 예시로 제한되는 것은 아니다. 대신에 본 발명의 적절한 범위는 청구범위에 의해 규정된다.

본 개시의 실시예는 제어된 테스트의 결과 데이터를 분석하도록 구성된 시스템 및 방법에 관한 것이다.

도 1a를 참조하면, 배송, 운송 및 물류 운영을 가능하게 하는 통신을 위한 컴퓨터 시스템을 포함하는 예시적인 시스템의 실시예를 나타낸 개략적인 블록도(100)가 도시되어 있다. 도 1a에 나타낸 바와 같이, 시스템(100)은 다양한 시스템을 포함할 수 있으며, 이들 각각은 하나 이상의 네트워크를 통해 서로 연결될 수 있다. 시스템은(예를 들어, 케이블을 사용한) 직접 연결을 통해 서로 연결될 수 있다. 도시된 시스템은 배송 기관 기술(shipment authority technology, SAT) 시스템(101), 외부 프론트 엔드 시스템(103), 내부 프론트 엔드 시스템(105), 운송 시스템(107), 모바일 디바이스(107A, 107B, 107C), 판매자 포털(109), 배송 및 주문 트래킹(shipment and order tracking, SOT) 시스템(111), 풀필먼트 최적화(fulfillment optimization, FO) 시스템(113), 풀필먼트 메시징 게이트웨이(fulfillment messaging gateway, FMG)(115), 공급 체인 관리(supply chain management, SCM) 시스템(117), 창고 관리 시스템(119), 모바일 디바이스(119A, 119B, 119C)(풀필먼트 센터(fulfillment center, FC)(200) 내부에 있는 것으로 도시됨), 제3자 풀필먼트 시스템(121A, 121B, 121C), 풀필먼트 센터 인증 시스템(fulfillment center authorization system, FC Auth)(123), 및 노동 관리 시스템(labor management system, LMS)(125)을 포함한다.

일부 실시예에서, SAT 시스템(101)은 주문 상태와 배달 상태를 모니터링하는 컴퓨터 시스템으로서 구현될 수 있다. 예를 들면, SAT 시스템(101)은 주문이 약속된 배달 날짜(Promised Delivery Date, PDD)를 지났는지를 결정할 수 있고, 새로운 주문을 개시시키고, 배달되지 않은 주문의 아이템을 다시 배송하며, 배달되지 않은 주문을 취소하고, 주문 고객과 연락을 시작하는 것 등을 포함하는 적합한 조치를 취할 수 있다. SAT 시스템(101)은 또한, (특정 기간 동안 배송된 패키지의 개수와 같은) 출력, 및(배송시 사용하기 위해 수신된 빈 카드보드 박스의 개수와 같은) 입력을 포함하는 다른 데이터를 감시할 수 있다. SAT 시스템(101)은 또한, 외부 프론트 엔드 시스템(103) 및 FO 시스템(113)과 같은 디바이스들 간의(예를 들면, 저장 전달(store-and-forward) 또는 다른 기술을 사용하는) 통신을 가능하게 하는 시스템(100) 내의 상이한 디바이스들 사이의 게이트웨이로서 동작할 수 있다.

일부 실시예에서, 외부 프론트 엔드 시스템(103)은 외부 사용자가 시스템(100) 내의 하나 이상의 시스템과 상호 동작할 수 있게 하는 컴퓨터 시스템으로서 구현될 수 있다. 예를 들면, 시스템(100)이 시스템의 프레젠테이션을 가능하게 하여 사용자가 아이템에 대한 주문을 할 수 있도록 하는 실시예에서, 외부 프론트 엔드 시스템(103)은 검색 요청을 수신하고, 아이템 페이지를 제시하며, 결제 정보를 요청하는 웹 서버로서 구현될 수 있다. 예를 들면, 외부 프론트 엔드 시스템(103)은 Apache HTTP 서버, Microsoft Internet Information Services(IIS), NGINX 등과 같은 소프트웨어를 실행하는 컴퓨터 또는 컴퓨터들로서 구현될 수 있다. 다른 실시예에서, 외부 프론트 엔드 시스템(103)은 외부 디바이스(예를 들어, 모바일 디바이스(102A) 또는 컴퓨터(102B))로부터 요청을 수신 및 처리하고, 이들 요청에 기초하여 데이터베이스 및 다른 데이터 저장 디바이스로부터 정보를 획득하며, 획득한 정보에 기초하여 수신된 요청에 대한 응답을 제공하도록 설계된 커스텀 웹 서버 소프트웨어를 실행할 수 있다.

일부 실시예에서, 외부 프론트 엔드 시스템(103)은 웹 캐싱 시스템, 데이터베이스, 검색 시스템, 또는 결제 시스템 중 하나 이상을 포함할 수 있다. 일 양상에서, 외부 프론트 엔드 시스템(103)은 이들 시스템 중 하나 이상을 포함할 수 있는 반면, 다른 양상에서는 외부 프론트 엔드 시스템(103)은 이들 시스템 중 하나 이상에 연결된 인터페이스(예를 들면, 서버 대 서버, 데이터베이스 대 데이터베이스, 또는 다른 네트워크 연결)를 포함할 수 있다.

도 1b, 1c, 1d 및 1e에 의해 나타낸 단계들의 예시적인 세트는 외부 프론트 엔드 시스템(103)의 일부 동작을 설명하는 것에 도움이 될 것이다. 외부 프론트 엔드 시스템(103)은 프레젠테이션 및/또는 디스플레이를 위해 시스템(100) 내의 시스템 또는 디바이스로부터 정보를 수신할 수 있다. 예를 들면, 외부 프론트 엔드 시스템(103)은 검색 결과 페이지(Search Result Page, SRP)(예를 들면, 도 1b), 싱글 디테일 페이지(Single Detail Page, SDP)(예를 들면, 도 1c), 장바구니 페이지(Cart page)(예를 들면, 도 1d), 또는 주문 페이지(예를 들면, 도 1e)를 포함하는 하나 이상의 웹페이지를 호스팅하거나 제공할 수 있다.(예를 들면, 모바일 디바이스(102A) 또는 컴퓨터(102B)를 사용하는) 사용자 디바이스는 외부 프론트 엔드 시스템(103)으로 이동하고 검색 박스에 정보를 입력함으로써 검색을 요청할 수 있다. 외부 프론트 엔드 시스템(103)은 시스템(100) 내의 하나 이상의 시스템으로부터 정보를 요청할 수 있다. 예를 들면, 외부 프론트 엔드 시스템(103)은 FO 시스템(113)으로부터 검색 요청을 만족하는 정보를 요청할 수 있다. 외부 프론트 엔드 시스템(103)은 또한, (FO 시스템(113)으로부터) 검색 결과에 포함된 각 제품에 대한 약속된 배달 날짜(Promised Delivery Date) 또는 "PDD"를 요청하고 수신할 수 있다. 일부 실시예에서, PDD는 제품이 들어있는 패키지가 특정 기간 이내, 예를 들면, 하루의 끝(PM 11:59)까지 주문되면 언제 사용자가 원하는 장소에 도착할 것인지에 대한 추정 또는 제품이 사용자가 원하는 장소에 배달될 약속된 날짜를 나타낼 수 있다(PDD는 FO 시스템(113)과 관련하여 이하에서 더 논의된다).

외부 프론트 엔드 시스템(103)은 정보에 기초하여 SRP(예를 들면, 도 1b)를 준비할 수 있다. SRP는 검색 요청을 만족하는 정보를 포함할 수 있다. 예를 들면, 이는 검색 요청을 만족하는 제품의 사진을 포함할 수 있다. SRP는 또한, 각 제품에 대한 각각의 가격, 또는 각 제품, PDD, 무게, 크기, 오퍼(offer), 할인 등에 대한 개선된 배달 옵션에 관한 정보를 포함할 수 있다. 외부 프론트 엔드 시스템(103)은(예를 들면, 네트워크를 통해) SRP를 요청 사용자 디바이스로 전송할 수 있다.

사용자 디바이스는 SRP에 나타낸 제품을 선택하기 위해, 예를 들면, 사용자 인터페이스를 클릭 또는 탭핑하거나, 다른 입력 디바이스를 사용하여 SRP로부터 제품을 선택할 수 있다. 사용자 디바이스는 선택된 제품에 관한 정보에 대한 요청을 만들어 내고 이를 외부 프론트 엔드 시스템(103)으로 전송할 수 있다. 이에 응답하여, 외부 프론트 엔드 시스템(103)은 선택된 제품에 관한 정보를 요청할 수 있다. 예를 들면, 정보는 각각의 SRP 상에 제품에 대해 제시된 것 이상의 추가 정보를 포함할 수 있다. 이는, 예를 들면, 유통 기한, 원산지, 무게, 크기, 패키지 내의 아이템 개수, 취급 지침, 또는 제품에 대한 다른 정보를 포함할 수 있다. 정보는 또한, (예를 들면, 이 제품 및 적어도 하나의 다른 제품을 구입한 고객의 빅 데이터 및/또는 기계 학습 분석에 기초한) 유사한 제품에 대한 추천, 자주 묻는 질문에 대한 답변, 고객의 후기, 제조 업체 정보, 사진 등을 포함할 수 있다.

외부 프론트 엔드 시스템(103)은 수신된 제품 정보에 기초하여 SDP(Single Detail Page)(예를 들면, 도 1c)를 준비할 수 있다. SDP는 또한, "지금 구매(Buy Now)" 버튼, "장바구니에 추가(Add to Cart)" 버튼, 수량 필드, 아이템 사진 등과 같은 다른 상호 동작 요소를 포함할 수 있다. SDP는 제품을 오퍼하는 판매자의 리스트를 포함할 수 있다. 이 리스트는 최저가로 제품을 판매하는 것으로 오퍼하는 판매자가 리스트의 최상단에 위치하도록, 각 판매자가 오퍼한 가격에 기초하여 순서가 정해질 수 있다. 이 리스트는 또한 최고 순위 판매자가 리스트의 최상단에 위치하도록, 판매자 순위에 기초하여 순서가 정해질 수 있다. 판매자 순위는, 예를 들어, 약속된 PPD를 지켰는지에 대한 판매자의 과거 추적 기록을 포함하는, 복수의 인자에 기초하여 만들어질 수 있다. 외부 프론트 엔드 시스템(103)은(예를 들면, 네트워크를 통해) SDP를 요청 사용자 디바이스로 전달할 수 있다.

요청 사용자 디바이스는 제품 정보를 나열하는 SDP를 수신할 수 있다. SDP를 수신하면, 사용자 디바이스는 SDP와 상호 동작할 수 있다. 예를 들면, 요청 사용자 디바이스의 사용자는 SDP의 "장바구니에 담기(Place in Cart)" 버튼을 클릭하거나, 이와 상호 동작할 수 있다. 이렇게 하면 사용자와 연계된 쇼핑 장바구니에 제품이 추가된다. 사용자 디바이스는 제품을 쇼핑 장바구니에 추가하기 위해 외부 프론트 엔드 시스템(103)으로 이러한 요청을 전송할 수 있다.

외부 프론트 엔드 시스템(103)은 장바구니 페이지(예를 들면, 도 1d)를 생성할 수 있다. 일부 실시예에서, 장바구니 페이지는 사용자가 가상의 "쇼핑 장바구니(shopping cart)"에 추가한 제품을 나열한다. 사용자 디바이스는 SRP, SDP, 또는 다른 페이지의 아이콘을 클릭하거나, 상호 동작함으로써 장바구니 페이지를 요청할 수 있다. 일부 실시예에서, 장바구니 페이지는 사용자가 장바구니에 추가한 모든 제품 뿐 아니라 각 제품의 수량, 각 제품의 품목당 가격, 관련 수량에 기초한 각 제품의 가격, PDD에 관한 정보, 배달 방법, 배송 비용, 쇼핑 장바구니의 제품을 수정(예를 들면, 수량의 삭제 또는 수정)하기 위한 사용자 인터페이스 요소, 다른 제품의 주문 또는 제품의 정기적인 배달 설정에 대한 옵션, 할부(interest payment) 설정에 대한 옵션, 구매를 진행하기 위한 사용자 인터페이스 요소 등과 같은 장바구니의 제품에 관한 정보를 나열할 수 있다. 사용자 디바이스의 사용자는 쇼핑 장바구니에 있는 제품의 구매를 시작하기 위해 사용자 인터페이스 요소(예를 들면, "지금 구매(Buy Now)"라고 적혀있는 버튼)를 클릭하거나, 이와 상호 동작할 수 있다. 그렇게 하면, 사용자 디바이스는 구매를 시작하기 위해 이러한 요청을 외부 프론트 엔드 시스템(103)으로 전송할 수 있다.

외부 프론트 엔드 시스템(103)은 구매를 시작하는 요청을 수신하는 것에 응답하여 주문 페이지(예를 들면, 도 1e)를 생성할 수 있다. 일부 실시예에서, 주문 페이지는 쇼핑 장바구니로부터의 아이템을 재나열하고, 결제 및 배송 정보의 입력을 요청한다. 예를 들면, 주문 페이지는 쇼핑 장바구니의 아이템 구매자에 관한 정보(예를 들면, 이름, 주소, 이메일 주소, 전화번호), 수령인에 관한 정보(예를 들면, 이름, 주소, 전화번호, 배달 정보), 배송 정보(예를 들면, 배달 및/또는 픽업 속도/방법), 결제 정보(예를 들면, 신용 카드, 은행 송금, 수표, 저장된 크레딧), 현금 영수증을 요청하는 사용자 인터페이스 요소(예를 들면, 세금 목적) 등을 요청하는 섹션을 포함할 수 있다. 외부 프론트 엔드 시스템(103)은 사용자 디바이스에 주문 페이지를 전송할 수 있다.

사용자 디바이스는 주문 페이지에 정보를 입력하고 외부 프론트 엔드 시스템(103)으로 정보를 전송하는 사용자 인터페이스 요소를 클릭하거나, 상호 동작할 수 있다. 그로부터, 외부 프론트 엔드 시스템(103)은 정보를 시스템(100) 내의 다른 시스템으로 전송하여 쇼핑 장바구니의 제품으로 새로운 주문을 생성하고 처리할 수 있도록 한다.

일부 실시예에서, 외부 프론트 엔드 시스템(103)은 판매자가 주문과 관련된 정보를 전송 및 수신할 수 있도록 추가로 구성될 수 있다.

일부 실시예에서, 내부 프론트 엔드 시스템(105)은 내부 사용자(예를 들면, 시스템(100)을 소유, 운영 또는 임대하는 조직의 직원)가 시스템(100) 내의 하나 이상의 시스템과 상호작용할 수 있게 하는 컴퓨터 시스템으로서 구현될 수 있다. 예를 들면, 시스템(100)이 사용자가 아이템에 대한 주문을 할 수 있게 하는 시스템의 프레젠테이션을 가능하게 하는 실시예에서, 내부 프론트 엔드 시스템(105)은 내부 사용자가 주문에 대한 진단 및 통계 정보를 볼 수 있게 하고, 아이템 정보를 수정하며, 또는 주문에 대한 통계를 검토할 수 있게 하는 웹 서버로서 구현될 수 있다. 예를 들면, 내부 프론트 엔드 시스템(105)은 Apache HTTP 서버, Microsoft Internet Information Services(IIS), NGINX 등과 같은 소프트웨어를 실행하는 컴퓨터 또는 컴퓨터들로서 구현될 수 있다. 다른 실시예에서, 내부 프론트 엔드 시스템(105)은(도시되지 않은 다른 디바이스뿐 아니라) 시스템(100) 내에 나타낸 시스템 또는 디바이스로부터 요청을 수신 및 처리하고, 그러한 요청에 기초하여 데이터베이스 및 다른 데이터 저장 디바이스로부터 정보를 획득하며, 획득한 정보에 기초하여 수신된 요청에 대한 응답을 제공하도록(설계된 커스텀 웹 서버 소프트웨어를 실행)할 수 있다.

일부 실시예에서, 내부 프론트 엔드 시스템(105)은 웹 캐싱 시스템, 데이터베이스, 검색 시스템, 결제 시스템, 분석 시스템, 주문 모니터링 시스템 등 중 하나 이상을 포함할 수 있다. 일 양상에서, 내부 프론트 엔드 시스템(105)은 이들 시스템 중 하나 이상을 포함할 수 있는 반면, 다른 양상에서는 내부 프론트 엔드 시스템(105)은 이들 시스템 중 하나 이상에 연결된 인터페이스(예를 들면, 서버 대 서버, 데이터베이스 대 데이터베이스, 또는 다른 네트워크 연결)를 포함할 수 있다.

일부 실시예에서, 운송 시스템(107)은 시스템(100) 내의 시스템 또는 디바이스와 모바일 디바이스(107A-107C) 간의 통신을 가능하게 하는 컴퓨터 시스템으로서 구현될 수 있다. 일부 실시예에서, 운송 시스템(107)은 하나 이상의 모바일 디바이스(107A-107C)(예를 들면, 휴대 전화, 스마트폰, PDA 등)로부터 정보를 수신할 수 있다. 예를 들면, 일부 실시예에서, 모바일 디바이스(107A-107C)는 배달원에 의해 동작되는 디바이스를 포함할 수 있다. 정규직, 임시적 또는 교대 근무일 수 있는 배달원은 사용자에 의해 주문된 제품들이 들어 있는 패키지의 배달을 위해 모바일 디바이스(107A-107C)를 이용할 수 있다. 예를 들면, 패키지를 배달하기 위해, 배달원은 배달할 패키지와 배달할 위치를 나타내는 모바일 디바이스 상의 알림을 수신할 수 있다. 배달 장소에 도착하면, 배달원은(예를 들면, 트럭의 뒤나 패키지의 크레이트에) 패키지를 둘 수 있고, 모바일 디바이스를 사용하여 패키지 상의 식별자와 관련된 데이터(예를 들면, 바코드, 이미지, 텍스트 문자열, RFID 태그 등)를 스캔하거나, 캡처하며,(예를 들면, 현관문에 놓거나, 경비원에게 맡기거나, 수령인에게 전달하는 것 등에 의해) 패키지를 배달할 수 있다. 일부 실시예에서, 배달원은 모바일 디바이스를 사용하여 패키지의 사진(들)을 찍거나 및/또는 서명을 받을 수 있다. 모바일 디바이스는, 예를 들면, 시간, 날짜, GPS 위치, 사진(들), 배달원에 관련된 식별자, 모바일 디바이스에 관련된 식별자 등을 포함하는 배달에 관한 정보를 포함하는 정보를 운송 시스템(107)에 전송할 수 있다. 운송 시스템(107)은 시스템(100) 내의 다른 시스템에 의한 접근을 위해 데이터베이스(미도시)에 이러한 정보를 저장할 수 있다. 일부 실시예에서, 운송 시스템(107)은 다른 시스템에 특정 패키지의 위치를 나타내는 트래킹 데이터를 준비 및 전송하기 위해 이러한 정보를 사용할 수 있다.

일부 실시예에서, 특정 사용자는, 한 종류의 모바일 디바이스를 사용할 수 있는 반면(예를 들면, 정규 직원은 바코드 스캐너, 스타일러스 및 다른 디바이스와 같은 커스텀 하드웨어를 갖는 전문 PDA를 사용할 수 있음), 다른 사용자는 다른 종류의 모바일 디바이스를 사용할 수 있다(예를 들면, 임시 또는 교대 근무 직원이 기성 휴대 전화 및/또는 스마트폰을 사용할 수 있음).

일부 실시예에서, 운송 시스템(107)은 사용자를 각각의 디바이스와 연관시킬 수 있다. 예를 들면, 운송 시스템(107)은 사용자(예를 들면, 사용자 식별자, 직원 식별자, 또는 전화번호에 의해 표현됨)와 모바일 디바이스(예를 들면, International Mobile Equipment Identity(IMEI), International Mobile Subscription Identifier(IMSI), 전화번호, Universal Unique Identifier(UUID), 또는 Globally Unique Identifier(GUID)에 의해 표현됨) 간의 연관성(association)을 저장할 수 있다. 운송 시스템(107)은, 다른 것들 중에 작업자의 위치, 작업자의 효율성, 또는 작업자의 속도를 결정하기 위해 데이터베이스에 저장된 데이터를 분석하기 위해 배달시 수신되는 데이터와 관련하여 이러한 연관성을 사용할 수 있다.

일부 실시예에서, 판매자 포털(109)은 판매자 또는 다른 외부 엔터티(entity)가 시스템(100) 내의 하나 이상의 시스템과 전자 통신할 수 있게 하는 컴퓨터 시스템으로서 구현될 수 있다. 예를 들면, 판매자는 판매자 포털(109)을 사용하여 시스템(100)을 통해 판매하고자 하는 제품에 대하여, 제품 정보, 주문 정보, 연락처 정보 등을 업로드하거나 제공하는 컴퓨터 시스템(미도시)을 이용할 수 있다.

일부 실시예에서, 배송 및 주문 트래킹 시스템(111)은 고객(예를 들면, 디바이스(102A-102B)를 사용하는 사용자)에 의해 주문된 제품들이 들어 있는 패키지의 위치에 관한 정보를 수신, 저장 및 포워딩하는 컴퓨터 시스템으로서 구현될 수 있다. 일부 실시예에서, 배송 및 주문 트래킹 시스템(111)은 고객에 의해 주문된 제품들이 들어 있는 패키지를 배달하는 배송 회사에 의해 운영되는 웹 서버(미도시)로부터 정보를 요청하거나 저장할 수 있다.

일부 실시예에서, 배송 및 주문 트래킹 시스템(111)은 시스템(100)에 나타낸 시스템들로부터 정보를 요청하고 저장할 수 있다. 예를 들면, 배송 및 주문 트래킹 시스템(111)은 운송 시스템(107)으로부터 정보를 요청할 수 있다. 전술한 바와 같이, 운송 시스템(107)은 사용자(예를 들면, 배달원) 또는 차량(예를 들면, 배달 트럭) 중 하나 이상과 연관된 하나 이상의 모바일 디바이스(107A-107C)(예를 들면, 휴대 전화, 스마트폰, PDA 등)로부터 정보를 수신할 수 있다. 일부 실시예에서, 배송 및 주문 트래킹 시스템(111)은 또한, 풀필먼트 센터(예를 들면, 풀필먼트 센터(200)) 내부의 개별 제품의 위치를 결정하기 위해 창고 관리 시스템(WMS)(119)으로부터 정보를 요청할 수 있다. 배송 및 주문 트래킹 시스템(111)은 운송 시스템(107) 또는 WMS(119) 중 하나 이상으로부터 데이터를 요청하고, 이를 처리하며, 요청시 디바이스(예를 들면, 사용자 디바이스(102A, 102B))로 제공할 수 있다.

일부 실시예에서, 풀필먼트 최적화(FO) 시스템(113)은 다른 시스템(예를 들면, 외부 프론트 엔드 시스템(103) 및/또는 배송 및 주문 트래킹 시스템(111))으로부터의 고객 주문에 대한 정보를 저장하는 컴퓨터 시스템으로서 구현될 수 있다. FO 시스템(113)은 또한, 특정 아이템이 유지 또는 저장되는 곳을 나타내는 정보를 저장할 수 있다. 예를 들면, 소정 아이템은 하나의 풀필먼트 센터에만 저장될 수 있는 반면, 소정 다른 아이템은 다수의 풀필먼트 센터에 저장될 수 있다. 또 다른 실시예에서, 특정 풀필먼트 센터는 아이템의 특정 세트(예를 들면, 신선한 농산물 또는 냉동 제품)만을 저장하도록 구성될 수 있다. FO 시스템(113)은 이러한 정보뿐 아니라 관련 정보(예를 들면, 수량, 크기, 수령 날짜, 유통 기한 등)를 저장한다.

FO 시스템(113)은 또한, 각 제품에 대해 대응하는 PDD(약속된 배달 날짜)를 계산할 수 있다. 일부 실시예에서, PDD는 하나 이상의 요소에 기초할 수 있다. 예를 들면, FO 시스템(113)은 제품에 대한 과거 수요(예를 들면, 그 제품이 일정 기간 동안 얼마나 주문되었는지), 제품에 대한 예측된 수요(예를 들면, 얼마나 많은 고객이 다가오는 기간 동안 제품을 주문할 것으로 예상되는지), 일정 기간 동안 얼마나 많은 제품이 주문되었는지를 나타내는 네트워크 전반의 과거 수요, 다가오는 기간 동안 얼마나 많은 제품이 주문될 것으로 예상되는지를 나타내는 네트워크 전반의 예측된 수요, 각각의 제품을 저장하는 각 풀필먼트 센터(200)에 저장된 제품의 하나 이상의 개수, 그 제품에 대한 예상 또는 현재 주문 등에 기초하여 제품에 대한 PDD를 계산할 수 있다.

일부 실시예에서, FO 시스템(113)은 주기적으로(예를 들면, 시간별로) 각 제품에 대한 PDD를 결정하고, 검색하거나 다른 시스템(예를 들면, 외부 프론트 엔드 시스템(103), SAT 시스템(101), 배송 및 주문 트래킹 시스템(111))으로 전송하기 위해 이를 데이터베이스에 저장할 수 있다. 다른 실시예에서, FO 시스템(113)은 하나 이상의 시스템(예를 들면, 외부 프론트 엔드 시스템(103), SAT 시스템(101), 배송 및 주문 트래킹 시스템(111))으로부터 전자 요청을 수신하고 요구에 따라 PDD를 계산할 수 있다.

일부 실시예에서, 풀필먼트 메시징 게이트웨이(FMG)(115)는 FO 시스템(113)과 같은 시스템(100) 내의 하나 이상의 시스템으로부터 하나의 포맷 또는 프로토콜로 요청 또는 응답을 수신하고, 그것을 다른 포맷 또는 프로토콜로 변환하여, 변환된 포맷 또는 프로토콜로 된 요청 또는 응답을 WMS(119) 또는 제3자 풀필먼트 시스템(121A, 121B, 또는 121C)과 같은 다른 시스템에 포워딩하며, 반대의 경우도 가능한 컴퓨터 시스템으로서 구현될 수 있다.

일부 실시예에서, 공급 체인 관리(SCM) 시스템(117)은 예측 기능을 수행하는 컴퓨터 시스템으로서 구현될 수 있다. 예를 들면, SCM 시스템(117)은, 예를 들어 제품에 대한 과거 수요, 제품에 대한 예측된 수요, 네트워크 전반의 과거 수요, 네트워크 전반의 예측된 수요, 각각의 풀필먼트 센터(200)에 저장된 제품 개수, 각 제품에 대한 예상 또는 현재 주문 등에 기초하여, 특정 제품에 대한 수요의 수준을 예측할 수 있다. 이러한 예측된 수준과 모든 풀필먼트 센터를 통한 각 제품의 수량에 응답하여, SCM 시스템(117)은 특정 제품에 대한 예측된 수요를 만족시키기에 충분한 양을 구매 및 비축하기 위한 하나 이상의 구매 주문을 생성할 수 있다.

일부 실시예에서, 창고 관리 시스템(WMS)(119)은 작업 흐름을 모니터링하는 컴퓨터 시스템으로서 구현될 수 있다. 예를 들면, WMS(119)는 개개의 디바이스(예를 들면, 디바이스(107A-107C 또는 119A-119C))로부터 개별 이벤트를 나타내는 이벤트 데이터를 수신할 수 있다. 예를 들면, WMS(119)는 패키지를 스캔하기 위해 이들 디바이스 중 하나를 사용한 것을 나타내는 이벤트 데이터를 수신할 수 있다. 풀필먼트 센터(200) 및 도 2에 관하여 이하에서 논의되는 바와 같이, 풀필먼트 프로세스 동안, 패키지 식별자(예를 들면, 바코드 또는 RFID 태그 데이터)는 특정 스테이지의 기계(예를 들면, 자동 또는 핸드헬드 바코드 스캐너, RFID 판독기, 고속 카메라, 태블릿(119A), 모바일 디바이스/PDA(119B), 컴퓨터(119C)와 같은 디바이스 등)에 의해 스캔되거나 판독될 수 있다. WMS(119)는 패키지 식별자, 시간, 날짜, 위치, 사용자 식별자, 또는 다른 정보와 함께 대응하는 데이터베이스(미도시)에 패키지 식별자의 스캔 또는 판독을 나타내는 각 이벤트를 저장할 수 있고, 이러한 정보를 다른 시스템(예를 들면, 배송 및 주문 트래킹 시스템(111))에 제공할 수 있다.

일부 실시예에서, WMS(119)는 하나 이상의 디바이스(예를 들면, 디바이스(107A-107C 또는 119A-119C))와 시스템(100)과 연관된 하나 이상의 사용자를 연관시키는 정보를 저장할 수 있다. 예를 들면, 일부 상황에서,(파트 타임 또는 풀 타임 직원과 같은) 사용자는 모바일 디바이스(예를 들면, 모바일 디바이스는 스마트폰임)를 소유한다는 점에서, 모바일 디바이스와 연관될 수 있다. 다른 상황에서, 사용자는 임시로 모바일 디바이스를 보관한다는 점에서(예를 들면, 하루의 시작에서부터 모바일 디바이스를 대여받은 사용자가, 하루 동안 그것을 사용하고, 하루가 끝날 때 그것을 반납할 것임), 모바일 디바이스와 연관될 수 있다.

일부 실시예에서, WMS(119)는 시스템(100)과 연관된 각각의 사용자에 대한 작업 로그를 유지할 수 있다. 예를 들면, WMS(119)는 임의의 할당된 프로세스(예를 들면, 트럭에서 내리기, 픽업 구역에서 아이템을 픽업하기, 리비닝 월(rebin wall) 작업, 아이템 패킹하기), 사용자 식별자, 위치(예를 들면, 풀필먼트 센터(200)의 바닥 또는 구역), 직원에 의해 시스템을 통해 이동된 유닛의 수(예를 들면, 픽업된 아이템의 수, 패킹된 아이템의 수), 디바이스(예를 들면, 디바이스(119A-119C))와 관련된 식별자 등을 포함하는, 각 직원과 관련된 정보를 저장할 수 있다. 일부 실시예에서, WMS(119)는 디바이스(119A-119C)에서 작동되는 계시(timekeeping) 시스템과 같은 계시 시스템으로부터 체크-인 및 체크-아웃 정보를 수신할 수 있다.

일부 실시예에서, 제3자 풀필먼트(3PL) 시스템(121A-121C)은 물류 및 제품의 제3자 제공자와 관련된 컴퓨터 시스템을 나타낸다. 예를 들면,(도 2와 관련하여 이하에서 후술하는 바와 같이) 일부 제품이 풀필먼트 센터(200)에 저장되는 반면, 다른 제품은 오프-사이트(off-site)에 저장될 수 있거나, 수요에 따라 생산될 수 있으며, 달리 풀필먼트 센터(200)에 저장될 수 없다. 3PL 시스템(121A-121C)은 FO 시스템(113)으로부터(예를 들면, FMG(115)를 통해) 주문을 수신하도록 구성될 수 있으며, 고객에게 직접 제품 및/또는 서비스(예를 들면, 배달 또는 설치)를 제공할 수 있다. 일부 구현예에서, 하나 이상의 3PL 시스템(121A-121C)은 시스템(100)의 일부일 수 있지만, 다른 구현예에서는, 하나 이상의 3PL 시스템(121A-121C)이 시스템(100)의 외부에 있을 수 있다(예를 들어, 제3자 제공자에 의해 소유 또는 운영됨)일 수 있다.

일부 실시예에서, 풀필먼트 센터 인증 시스템(FC Auth)(123)은 다양한 기능을 갖는 컴퓨터 시스템으로서 구현될 수 있다. 예를 들면, 일부 실시예에서, FC Auth(123)는 시스템(100) 내의 하나 이상의 다른 시스템에 대한 단일-사인 온(single-sign on, SSO) 서비스로서 작동할 수 있다. 예를 들면, FC Auth(123)는 내부 프론트 엔드 시스템(105)을 통해 사용자가 로그인하게 하고, 사용자가 배송 및 주문 트래킹 시스템(111)에서 리소스에 액세스하기 위해 유사한 권한을 갖고 있다고 결정하며, 두 번째 로그인 프로세스 요구 없이 사용자가 그러한 권한에 액세스할 수 있게 한다. 다른 실시예에서, FC Auth(123)는 사용자(예를 들면, 직원)가 자신을 특정 작업과 연관시킬 수 있게 한다. 예를 들면, 일부 직원은(디바이스(119A-119C)와 같은) 전자 디바이스를 갖지 않을 수 있으며, 대신 하루 동안 풀필먼트 센터(200) 내에서 작업들 사이 및 구역들 사이에서 이동할 수 있다. FC Auth(123)는 이러한 직원들이 상이한 시간 대에 수행 중인 작업과 속해 있는 구역을 표시할 수 있도록 구성될 수 있다.

일부 실시예에서, 노동 관리 시스템(LMS)(125)은 직원(풀-타임 및 파트-타임 직원을 포함함)에 대한 출근 및 초과 근무 정보를 저장하는 컴퓨터 시스템으로서 구현될 수 있다. 예를 들면, LMS(125)는 FC Auth(123), WMS(119), 디바이스(119A-119C), 운송 시스템(107), 및/또는 디바이스(107A-107C)로부터 정보를 수신할 수 있다.

도 1a에 나타낸 특정 구성은 단지 예시일 뿐이다. 예를 들면, 도 1a는 FO 시스템(113)에 연결된 FC Auth 시스템(123)을 나타낸 반면, 모든 실시예가 이러한 특정 구성을 필요로 하는 것은 아니다. 실제로, 일부 실시예에서, 시스템(100) 내의 시스템은 인터넷, 인트라넷, WAN(Wide-Area Network), MAN(Metropolitan-Area Network), IEEE 802.11a/b/g/n 표준을 따르는 무선 네트워크, 임대 회선 등을 포함하는 하나 이상의 공공 또는 사설 네트워크를 통해 서로 연결될 수 있다. 일부 실시예에서, 시스템(100) 내의 시스템 중 하나 이상은 데이터 센터, 서버 팜 등에서 구현되는 하나 이상의 가상 서버로서 구현될 수 있다.

도 2는 풀필먼트 센터(200)를 나타낸다. 풀필먼트 센터(200)는 주문시 고객에게 배송하기 위한 아이템을 저장하는 물리적 장소의 예시이다. 풀필먼트 센터(FC)(200)는 다수의 구역으로 분할될 수 있으며, 각각이 도 2에 도시된다. 일부 실시예에서, 이러한 "구역(zones)"은 아이템을 수령하고, 아이템을 저장하고, 아이템을 검색하고, 아이템을 배송하는 과정의 상이한 단계 사이의 가상 구분으로 생각될 수 있다. 따라서, "구역"이 도 2에 나타나 있으나, 일부 실시예에서, 구역의 다른 구분도 가능하고, 도 2의 구역은 생략, 복제, 또는 수정될 수 있다.

인바운드 구역(203)은 도 1a의 시스템(100)을 사용하여 제품을 판매하고자 하는 판매자로부터 아이템이 수신되는 FC(200)의 영역을 나타낸다. 예를 들면, 판매자는 트럭(201)을 사용하여 아이템(202A, 202B)을 배달할 수 있다. 아이템(202A)은 자신의 배송 팔레트(pallet)를 점유하기에 충분히 큰 단일 아이템을 나타낼 수 있으며, 아이템(202B)은 공간을 절약하기 위해 동일한 팔레트 상에 함께 적층되는 아이템의 세트를 나타낼 수 있다.

작업자는 인바운드 구역(203)의 아이템을 수령하고, 선택적으로 컴퓨터 시스템(미도시)을 사용하여 아이템이 손상되었는지 및 정확한지를 체크할 수 있다. 예를 들면, 작업자는 아이템(202A, 202B)의 수량을 아이템의 주문 수량과 비교하기 위해 컴퓨터 시스템을 사용할 수 있다. 수량이 일치하지 않는다면, 해당 작업자는 아이템(202A, 202B) 중 하나 이상을 거부할 수 있다. 수량이 일치한다면, 작업자는 그 아이템들을(예를 들면, 짐수레(dolly), 핸드트럭(handtruck), 포크리프트(forklift), 또는 수작업으로) 버퍼 구역(205)으로 운반할 수 있다. 버퍼 구역(205)은, 예를 들면, 예측된 수요를 충족시키기 위해 픽업 구역에 그 아이템이 충분한 수량만큼 있기 때문에, 픽업 구역에서 현재 필요하지 않은 아이템에 대한 임시 저장 영역일 수 있다. 일부 실시예에서, 포크리프트(206)는 버퍼 구역(205) 주위와 인바운드 구역(203) 및 드롭 구역(207) 사이에서 아이템을 운반하도록 작동한다.(예를 들면, 예측된 수요로 인해) 픽업 구역에 아이템(202A, 202B)이 필요하면, 포크리프트는 아이템(202A, 202B)을 드롭 구역(207)으로 운반할 수 있다.

드롭 구역(207)은 픽업 구역(209)으로 운반되기 전에 아이템을 저장하는 FC(200)의 영역일 수 있다. 픽업 동작에 할당된 작업자("피커(picker)")는 픽업 구역의 아이템(202A, 202B)에 접근하고, 픽업 구역에 대한 바코드를 스캔하며, 모바일 디바이스(예를 들면, 디바이스(119B))를 사용하여 아이템(202A, 202B)과 관련된 바코드를 스캔할 수 있다. 그 다음 피커는(예를 들면, 카트에 놓거나 운반함으로써) 픽업 구역(209)에 아이템을 가져갈 수 있다.

픽업 구역(209)은 아이템(208)이 저장 유닛(210)에 저장되는 FC(200)의 영역일 수 있다. 일부 실시예에서, 저장 유닛(210)은 물리적 선반, 책꽂이, 박스, 토트(tote), 냉장고, 냉동고, 저온 저장고 등 중 하나 이상을 포함할 수 있다. 일부 실시예에서, 픽업 구역(209)은 다수의 플로어로 편성될 수 있다. 일부 실시예에서, 작업자 또는 기계는, 예를 들면, 포크리프트, 엘리베이터, 컨베이어 벨트, 카트, 핸드트럭, 짐수레, 자동화된 로봇 또는 디바이스, 또는 수작업을 포함하는 다양한 방식으로 아이템을 픽업 구역(209)으로 운반할 수 있다. 예를 들면, 피커는 아이템(202A, 202B)을 드롭 구역(207)의 핸드트럭 또는 카트에 놓을 수 있으며, 아이템(202A, 202B)을 픽업 구역(209)으로 가져갈 수 있다.

피커는 저장 유닛(210) 상의 특정 공간과 같은 픽업 구역(209)의 특정 스팟에 아이템을 배치(또는 "적재(stow)")하라는 명령을 수신할 수 있다. 예를 들면, 피커는 모바일 디바이스(예를 들면, 디바이스(119B))를 사용하여 아이템(202A)을 스캔할 수 있다. 디바이스는, 예를 들면, 통로, 선반 및 위치를 나타내는 시스템을 사용하여, 아이템(202A)을 적재해야 하는 위치를 나타낼 수 있다. 그 다음 디바이스는 그 위치에 아이템(202A)을 적재하기 전에 피커가 그 위치에서 바코드를 스캔하도록 할 수 있다. 디바이스는 도 1a의 WMS(119)와 같은 컴퓨터 시스템에 아이템(202A)이 디바이스(119B)를 사용하는 사용자에 의해 그 위치에 적재되었음을 나타내는 데이터를(예를 들면, 무선 네트워크를 통해) 전송할 수 있다.

일단 사용자가 주문을 하면, 피커는 저장 유닛(210)으로부터 하나 이상의 아이템(208)을 검색하기 위해 디바이스(119B)에 명령을 수신할 수 있다. 피커는 아이템(208)을 검색하고, 아이템(208) 상의 바코드를 스캔하며, 운송 기구(214) 상에 놓을 수 있다. 일부 실시예에서, 운송 기구(214)가 슬라이드로서 표현되지만, 운송 기구는 컨베이어 벨트, 엘리베이터, 카트, 포크리프트, 핸드트럭, 짐수레, 카트 등 중 하나 이상으로서 구현될 수 있다. 그 다음 아이템(208)은 패킹 구역(211)에 도착할 수 있다.

패킹 구역(211)은 아이템이 픽업 구역(209)으로부터 수령되고 고객에게 최종 배송하기 위해 박스 또는 가방에 패킹되는 FC(200)의 영역일 수 있다. 패킹 구역(211)에서, 아이템을 수령하도록 할당된 작업자("리비닝 작업자(rebin worker)")는 픽업 구역(209)으로부터 아이템(208)을 수령하고, 그것이 어느 주문에 대응하는지를 결정할 것이다. 예를 들면, 리비닝 작업자는 아이템(208) 상의 바코드를 스캔하기 위해 컴퓨터(119C)와 같은 디바이스를 사용할 수 있다. 컴퓨터(119C)는 아이템(208)이 어느 주문과 관련이 있는지를 시각적으로 나타낼 수 있다. 이는, 예를 들면, 주문에 대응하는 월(216) 상의 공간 또는 "셀(cell)"을 포함할 수 있다.(예를 들면, 셀에 주문의 모든 아이템이 포함되어 있기 때문에) 일단 주문이 완료되면, 리비닝 작업자는 패킹 작업자(또는 "패커(packer)")에게 주문이 완료된 것을 알릴 수 있다. 패커는 셀로부터 아이템을 검색하고, 배송을 위해 이들을 박스 또는 가방에 놓을 수 있다. 그 다음 패커는, 예를 들면, 포크리프트, 카트, 짐수레, 핸드트럭, 컨베이어 벨트, 수작업 또는 다른 방법을 통해, 박스 또는 가방을 허브 구역(213)으로 보낼 수 있다.

허브 구역(213)은 패킹 구역(211)으로부터 모든 박스 또는 가방("패키지(packages)")을 수신하는 FC(200)의 영역일 수 있다. 허브 구역(213)의 작업자 및/또는 기계는 패키지(218)를 검색하고, 각 패키지가 배달 영역의 어느 부분으로 배달되도록 되어 있는지를 결정하며, 패키지를 적합한 캠프 구역(215)으로 보낼 수 있다. 예를 들면, 배달 영역이 2개의 작은 하위 영역을 갖는다면, 패키지는 2개의 캠프 구역(215) 중 하나로 보내질 것이다. 일부 실시예에서, 작업자 또는 기계는 최종 목적지를 결정하기 위해(예를 들면, 디바이스(119A-119C) 중 하나를 사용하여) 패키지를 스캔할 수 있다. 패키지를 캠프 구역(215)으로 보내는 것은, 예를 들면,(우편 번호에 기초하여) 패키지가 향하는 지리적 지역의 부분을 결정하고, 지리적 지역의 부분과 관련된 캠프 구역(215)을 결정하는 것을 포함할 수 있다.

일부 실시예에서, 캠프 구역(215)은 루트 및/또는 서브-루트로 분류하기 위해 허브 구역(213)으로부터 패키지가 수령되는 하나 이상의 빌딩, 하나 이상의 물리적 공간, 또는 하나 이상의 영역을 포함할 수 있다. 일부 실시예에서, 캠프 구역(215)은 FC(200)로부터 물리적으로 분리되어 있는 반면, 다른 실시예에서는 캠프 구역(215)은 FC(200)의 일부를 형성할 수 있다.

캠프 구역(215)의 작업자 및/또는 기계는, 예를 들면, 목적지와 기존 루트 및/또는 서브-루트의 비교, 각각의 루트 및/또는 서브-루트에 대한 작업량의 계산, 하루 중 시간, 배송 방법, 패키지(220)를 배송하기 위한 비용, 패키지(220)의 아이템과 관련된 PDD 등에 기초하여 패키지(220)가 어느 루트 및/또는 서브-루트와 연관되어야 하는지를 결정할 수 있다. 일부 실시예에서, 작업자 또는 기계는 최종 목적지를 결정하기 위해(예를 들면, 디바이스(119A-119C) 중 하나를 사용하여) 패키지를 스캔할 수 있다. 일단 패키지(220)가 특정 루트 및/또는 서브-루트에 할당되면, 작업자 및/또는 기계는 배송될 패키지(220)를 운반할 수 있다. 예시적인 도 2에서, 캠프 구역(215)은 트럭(222), 자동차(226), 배달원(224A, 224B)을 포함한다. 일부 실시예에서, 배달원(224A)이 트럭(222)을 운전할 수 있는데, 이 때 배달원(224A)은 FC(200)에 대한 패키지를 배달하는 풀-타임 직원이며, 트럭은 FC(200)를 소유, 임대 또는 운영하는 동일한 회사에 의해 소유, 임대, 또는 운행된다. 일부 실시예에서, 배달원(224B)이 자동차(226)를 운전할 수 있는데, 이 때 배달원(224B)은 필요에 따라(예를 들면, 계절에 따라) 배달하는 "플렉스(flex)" 또는 비상시적인 작업자이다. 자동차(226)는 배달원(224B)에 의해 소유, 임대 또는 운행될 수 있다.

제어된 테스트는 하나 이상의 변수 그룹이 제어 그룹과 함께 테스트되는 테스트 또는 실험의 성능일 수 있다. 제어 그룹은 기본 상태, 초기 상태 또는 변화된 상태가 비교되는 테스트 또는 실험에서 변화되지 않는 모든 상태를 나타낼 수 있다. 변수 그룹은 제어 그룹에서 변화되는 상태를 나타낼 수 있다. A/B 테스트는 단일 변수만 존재하는 제어 테스트 유형일 수 있다. 일부 실시예에서, A/B 테스트는 단일 변화만을 분석하는 단순성 때문에 바람직할 수 있다. 일부 실시예에서, A/B 테스트와 같은 제어된 테스트는 두 개의 다른 버전, 기능 또는 구현 사이에서 컴퓨터 시스템 또는 그 서브 시스템의 효능을 테스트하기 위해 사용될 수 있다. 예를 들어, 한 버전은 변수 그룹 A일 수 있고 대체 버전은 변수 그룹 B일 수 있다. 변수 그룹 A와 변수 그룹 B가 모두 구현되면 생성되는 데이터를 모니터링하거나 수집할 수 있다. 어떤 경우에는 생성된 데이터를 측정하기 위해 다양한 메트릭이 사용될 수 있으며, 테스트의 메트릭 및 규칙에 따라 결과가 생성될 수 있다. 일부 실시예에서, 테스트 동안 생성된 데이터는 "이벤트"로 지칭된다.

일부 실시예에 따르면, A/B 테스트는 사용자에 의해 사용되는 상호 동작 기능을 갖는 컴퓨터 시스템과 관련될 수 있습니다. 상호 동작 기능에는 시스템이 출력을 생성하거나 사용자로부터 입력을 받을 수 있는 기능이 포함될 수 있다. 예를 들어, 출력에는 그래픽 사용자 인터페이스(GUI), 이미지, 비디오, 텍스트 및/또는 사운드가 포함될 수 있다. 입력에는 키보드, 마우스, 터치 스크린을 통한 사용자 입력, 오디오 또는 비디오 디바이스를 통해 캡처된 사운드 또는 이미지, 및/또는 시스템에 의해 수신될 수 있는 모든 작업 또는 비작업이 포함될 수 있다. 비제한적인 예로서, 시스템(100)은 상호 동작 기능을 갖는 컴퓨터일 수 있다. 외부 프론트 엔드 시스템(103)은 디바이스(102A 및 102B)를 통해 사용자에 대한 출력으로서 도 1b-1e에 예시된 상호 동작 디스플레이의 비제한적인 예를 생성할 수 있다. 외부 프론트 엔드 시스템(103)은 또한 디바이스(102A 및 102B)를 통해 출력과의 사용자 상호 작용을 수신할 수 있다. 시스템(100)은 사용자가 예를 들어, 상호 동작 디스플레이를 통해 탐색, 보기, 선택, 구매, 거부, 나가기 또는 다른 어떤 행동을 수행할 때 사용자 행동을 수신하고 수집할 수 있다. 일부 실시예에서, 사용자 상호 작용은 도 2에 예시된 FC(200)와 같은 하나 이상의 풀필먼트 센터로부터 상품의 배송을 초래할 수 있다.

도 3은 테스트(300)와 같은 일반적인 A/B 테스트의 단순화 된 예를 제공한다. 사용자(302)는 그룹 304-a 및 그룹 304-b로 나뉠 수 있다. 일부 실시예에서, 사용자(302)는 무작위로 그룹으로 분할된다. 일부 다른 실시예에서, 사용자(302)는 소정의 또는 동적 조건에 기초하여 그룹화 될 수 있다. 예를 들어, 조건은 연령, 성별, 지리적 지역, 활동 이력, 습관, 구매 패턴, 수입, 상호 작용 유형, 수입, 시장 세그먼트 및/또는 기타 관련 사용자 세분화(segmentation)와 같은 사용자의 특성을 포함할 수 있다. 일부 실시 양태에서, 그룹 304-a는 변형 A(306-a)와 상호 작용하도록 지시되는 반면, 그룹 304-b는 변형 B(306-b)와 상호 작용하도록 지시된다. 변수 또는 변형은 테스트 중인 시스템의 기능을 나타낼 수 있다(예를 들어, 제어로부터 변경됨). 일부 실시 양태에서, 변형 B(306-b)는 적어도 하나의 측면에서 변형 A(306-a)와 상이할 수 있다. 일부 실시 양태에서, 변형 A(306-a) 및 변형 B(306-b)는 시스템(100)과 관련될 수 있다. 예를 들어, 테스트 된 특징은 하나 이상의 사용자 디바이스를 통해 사용자(302)에게 제공될 수 있는 도 1b-1e에 도시된 것과 같은, 외부 프론트 엔드 시스템(103)에 의해 생성된 디스플레이 중 하나일 수 있다. 일부 예에서, 도 1b-1e의 기존 버전이 일부 사용자에게 디스플레이 될 수 있으며, 이들 사용자는 그룹 304-a를 형성한다. 도 1b-1e의 기존 버전은 변형 A(306-a) 일 수 있다. 디스플레이의 일부 대체 버전이 그룹 304-b에 디스플레이 될 수 있다. 디스플레이의 대체 버전은 변형 B(306-b)일 수 있다. 예를 들어, 도 1b-1e의 변형 A 버전은 제품 아이템 목록, 제품 아이템 목록 순서, 색상, 글꼴, 크기, 이미지, 비디오 및/또는 이러한 기능 배열과 같은 디스플레이 기능에서 변형 B 버전과 다를 수 있다. 통상의 기술자는 시스템(100)에 변경, 제거 또는 새로 추가될 수 있는 임의의 특징이 변수로서 테스트 될 수 있다는 것을 이해할 것이다.

테스트(300)는 테스트 데이터를 생성할 수 있다. 일부 실시예에서, 도 3에 예시된 사용자 상호 작용과 관련된 제어된 테스트의 맥락에서, 테스트 데이터는 "이벤트"로 지칭될 수 있다. 이러한 이벤트는 시스템(100)의 개선 및 최적화와 관련된 결과를 생성하기 위해 처리되고 분석될 수 있다. 일부 실시 양태에서, 이벤트는 실험 플랫폼 엔진에서 분석된다.

실험 플랫폼 엔진은 제어된 테스트(예를 들어, A/B 테스트)의 이벤트 및 결과를 처리, 분석, 생성 및 출력하기 위한 컴퓨터 시스템일 수 있다. 예로서, 도 4는 개시된 실시예들에 따른, 실험 플랫폼 엔진(XPE)(400) 및 그 작동 프로세스의 비제한적인 예를 예시한다. 도 5는 개시된 실시예들에 따른, 실험 플랫폼 엔진의 예시적인 프로세스의 흐름도를 도시한다. 일부 실시예에서, XPE(400)의 다양한 서브 모듈은 프로세스(500)의 단계를 수행하도록 구성될 수 있다.

일부 실시예에 따르면, 설계 사양(406)은 XPE(400)에 의해 분석될 제어된 테스트의 다양한 파라미터를 정의한다. 다양한 파라미터의 예에는 이벤트 소스, 메트릭 소스, 이벤트 구성, 메트릭 구성, 테스트 규칙 및 출력 규칙이 포함될 수 있지만 이에 국한되지는 않는다. 일부 실시예에서, 설계 사양(406)은 컴퓨터 시스템에 의해 판독 가능한 컴퓨터 코드의 표준화 된 파일 또는 다른 형식일 수 있다. 일부 실시예에서, 설계 사양(406)은 테스트(300)와 관련된다.

이벤트는 테스트(300)에서 생성될 수 있고 하나 이상의 메모리 저장소에 저장될 수 있으며, 이는 XPE(400)에 대한 이벤트의 소스로 작용할 수 있다. 이벤트 소스(402-a, 402-b 및/또는 402-c)는 이벤트를 포함하는 메모리 저장소의 예일 수 있다. 일부 실시예에서, 이벤트 구성(408)은 설계 사양(406)에 명시된 파라미터에 기초하여 XPE(400)에 필요한 이벤트를 준비한다. 일반적으로 조직 내에서 서로 다른 시스템 또는 동일한 시스템에 대해 많은 제어된 테스트를 수행할 수 있다. XPE(400)에 의해 특정 제어된 테스트를 분석하는 데 필요한 특정 이벤트 세트는 해당 이벤트 소스에서 검색해야 할 수 있다. 설계 사양(406)에 의해 정의된 파라미터에 기초한 이벤트 구성(408)은 필요한 이벤트를 식별하고 검색한다. 일부 실시예에서, 이벤트 소스(402-a, 402-b, 및/또는 402-c) 중 하나 이상은 필요한 특정 이벤트 세트를 포함하는 것으로서 이벤트 구성(408)에 의해 식별될 수 있다. 일부 실시예에서, 검색된 이벤트는 필터링 또는 형식화(formatting)와 같은 추가 처리를 요구할 수 있다. 이벤트 구성(408)은 설계 사양(406)에 기초하여 검색된 이벤트를 분석하기 위해 XPE(400)에 의해 요구될 수 있는 특정 필터링 및 형식화를 결정할 수 있다.

일부 실시예에서, 메트릭은 일부 결과를 생성하기 위해 이벤트를 조작하기 위한 알고리즘, 로직 또는 공식을 포함할 수 있다. 메트릭의 예에는 더하기, 빼기, 곱하기, 나누기, 합산, 통합, 비교, 부울 연산 및/또는 기타 데이터 로직 또는 연산이 포함될 수 있다. 일부 비제한적인 예에서, 이벤트가 제품 아이템의 판매인 경우, 메트릭은 판매된 제품의 총량을 얻기 위해 모든 이벤트(예를 들어, 판매)를 합산하는 합계 연산일 수 있다. 일부 실시예에서, 메트릭은 메트릭 소스(404-a, 404-b 및/또는 404-c)에 저장될 수 있고 메트릭 구성(410)에 의해 검색될 수 있다. 일부 실시예에서, 메트릭 구성(410)은 설계 사양(406)의 파라미터에 기초하여 XPE(400)에 대한 적절한 메트릭을 검색한다.

이벤트 생성기(412)는 이벤트 구성(408)에서 결정된 선택 및 규칙에 기초하여 분석을 위한 이벤트를 출력한다. 메트릭 생성기(414)는 이벤트 생성기(412)에 의해 제공되는 이벤트를 분석하는 데 사용되는 메트릭을 제공한다. 일부 실시예에서, 이벤트 생성기(412) 및/또는 메트릭 생성기(414)는 이벤트 및/또는 메트릭을 복사, 전송, 검색, 형식화, 자르기, 정렬 및/또는 조작하기 위해 당 업계에 알려진 알고리즘을 사용할 수 있다. 선택 및 규칙에는 이벤트 소스, 필터링 범위 및/또는 이벤트에 대한 형식화가 포함될 수 있다.

분석 엔진(416)은 이벤트에 메트릭을 적용한다. 일부 실시예에서, 메트릭을 적용하는 것은 메트릭과 연관된 알고리즘, 로직 또는 공식과 같은 하나 이상의 연산을 실행하는 것을 포함할 수 있다. 예를 들어, 메트릭이 합계 연산이고 이벤트가 사용자 액션의 단일 인스턴스를 나타내는 경우, 합계 연산을 이벤트에 적용하는 것은 사용자 액션의 모든 인스턴스를 합산하여 총 사용자 액션 수의 결과를 생성할 수 있다. .

출력 생성기(418)는 분석 엔진(416)에 의해 생성된 결과에 출력 규칙 및/또는 테스트 규칙을 적용한다. 일부 실시예에서, 출력 규칙은 설계 사양(406)에 의해 지정될 수 있고 출력(420)의 다양한 양태를 통제할 수 있다. 예를 들어, 분석 엔진(406)에 의한 결과는 일반 텍스트, 쉼표로 구분된 값(CSV), 마이크로소프트 엑셀, 또는 다른 적절한 데이터 형식과 같은 당업계에 알려진 파일 형식으로 형식화 될 수 있다. 다른 예들에서, 출력(420)은 분석 엔진(416)에서 생성된 결과에 기초하여 생성될 수 있는 그래프 또는 차트와 같은 하나 이상의 시각적 표현을 포함할 수 있다.

테스트 규칙은 설계 사양(406)에 의해 지정될 수 있다. 테스트 규칙은 분석 엔진(416)의 결과에 대한 통계적 방법의 적용을 포함할 수 있다. 변형 A(306-a)와 B(306-b) 사이의 결과에 어떤 차이가 있을 수 있는지 확인하기 위해, 통계적 방법에는 P-값, 신뢰 구간, 최소 검출 가능 차이(MDE) 및 기타 수치적 또는 정성적 평가와 같은 통계 가설 검정이 포함될 수 있다.

일부 실시예에서, 이벤트 구성(408)은 XPE(400)의 일부 알고리즘에 기초하여, 또는 설계 사양(406)에 의해 제공되어 이벤트 소스, 필터 및/또는 형식을 동적으로 결정할 수 있다. XPE(400)의 다양성은 다양한 제어된 테스트에 사용할 수 있는지 여부에 따라 달라질 수 있다. 각각의 다른 테스트에는 서로 다른 이벤트 소스에 저장된 이벤트, 필터링할 서로 다른 범위 또는 서로 다른 형식을 요구하는 서로 다른 메트릭이 있을 수 있다. 예를 들어 XPE(400)이 다양한 제어된 테스트를 분석할 때 광범위한 수정이 필요한 경우 XPE(400)의 효율성과 다양성이 제한될 수 있다. 또한 동일한 제어된 테스트의 경우에도 세분화된 결과가 필요한 경우가 있을 수 있으므로 이벤트를 개별적으로 세분화하고 분석해야 할 수 있다. 따라서 XPE(400)으로 이벤트 조작을 자동화 할 수 있다면 XPE(400)의 효율성과 유용성을 높일 수 있다. 예를 들어, 이벤트 구성(408)은 XPE(400)의 광범위한 수정을 요구하지 않고 상이한 이벤트 세트 또는 이벤트 세분화를 요구할 수 있는 많은 동시 분석이 병렬로 수행될 수 있게 함으로써 XPE(400)의 처리량을 증가시킬 수 있다. 또한 XPE(400)에 대한 이벤트를 조작하는 데 필요한 수정의 양을 줄임으로써 XPE(400)을 사용하는 데 드는 시간과 노동 비용을 줄여, 더 많은 테스트 데이터를 분석하거나 재분석할 수 있다.

도 5는 개시된 실시예에 따른, XPE(400)의 동작의 비제한적인 예인 프로세스(500)를 도시하는 흐름도를 도시한다.

단계 502에서, 설계 사양(406)이 XPE(400)에 제공된다. 일부 실시예에서, 설계 사양(406)은 XPE(400)에 의해 판독 가능하고 실행 가능한 명령을 갖는 표준화 된 설계 문서일 수 있다. 일부 실시예에서, XPE(400)는 사용자 인터페이스를 갖는 디바이스에 연결될 수 있고, 설계 사양(406)은 사용자 인터페이스를 통해 XPE(400)에 제공될 수 있다.

단계 504에서, 메트릭 생성기(414)는 설계 사양(406)에 기초하여 메트릭을 검색한다. 메트릭은 메트릭 소스(404-a, 404-b 및/또는 404-c) 중 하나 이상으로부터 검색될 수 있다. 일부 실시예에서, 설계 사양(406)은 검색될 특정 메트릭 및/또는 특정 메트릭 소스를 지정할 수 있다. 일부 실시예에서, 메트릭 구성(410)은 설계 사양(406)에 의해 특별히 지정되지 않고 설계 사양(406)에 기초하여 특정 메트릭 및/또는 특정 메트릭 소스를 결정할 수 있다. 예를 들어, 메트릭 구성(410)은 설계 사양(406)에 포함된 파라미터에 기초하여 특정 제어된 테스트가 특정 메트릭 소스에 저장된 특정 메트릭 세트를 요구할 수 있음을 자동으로 결정할 수 있다.

단계 506에서, 이벤트 생성기(412)는 설계 사양(406)에 기초하여 이벤트를 검색한다. 이벤트는 하나 이상의 이벤트 소스(402-a, 404-b, 및/또는 404-c)로부터 검색될 수 있다. 일부 실시예에서, 설계 사양(406)은 검색될 특정 이벤트 및/또는 특정 이벤트 소스를 지정할 수 있다. 일부 실시예에서, 이벤트 구성(408)은 설계 사양(406)에 의해 특별히 지정되지 않고 이벤트 소스를 결정할 수 있다. 예를 들어, 특정 제어된 테스트에 해당하는 이벤트는 미리 결정된 규칙에 따라 특정 이벤트 소스에 색인화되고 저장될 수 있다. 이벤트 구성(408)은 미리 결정된 규칙에 기초하여 특정 제어된 테스트에 대한 이벤트 소스를 식별할 수 있다.

단계 508에서, 이벤트 생성기(412)는 단계 506에서 검색된 이벤트를 필터링한다. 결과에서 추가적인 통찰력을 얻을 수 있도록 제어된 테스트의 결과를 세그먼트로 분석하고 제공하는 것이 바람직할 수 있다. 추가적으로 또는 대안적으로, 이벤트의 일부만이 요구되는 목표와 관련될 수 있으며, 따라서 관련 없는 부분의 분석은 시스템 리소스의 낭비가 될 수 있다. 이벤트를 필터링함으로써, 이벤트 생성기(412)는 검색된 이벤트를 별도의 분석을 위해 세그먼트로 세분화할 수 있고, 관련 없는 데이터에 대한 시스템 리소스의 불필요한 사용을 방지할 수 있다.

예를 들어, 이벤트는 테스트 기간에 따라 필터링 될 수 있다. 제어된 테스트는 전체 기간에 걸쳐 실시되었을 수 있다. 제어된 테스트와 관련된 이벤트는 전체 기간의 세그먼트로 분할될 수 있다. 시간 경과에 따른 결과를 관찰하는 것이 바람직할 수 있으므로 이벤트는 전체 기간의 더 작은 증분으로 세분화될 수 있다. 예를 들어, 1 년에 걸쳐 수행되는 제어된 테스트의 이벤트는 월, 주 등의 세그먼트로 분할될 수 있다. 이 예에서, 관심있는 결과가 4 월에 대한 것이라면, 이벤트 생성기(412)는 4 월의 이벤트만을 필터링 할 수 있다.

다른 예에서, 제어된 테스트의 결과는 사용자(302)의 일부 특성에 기초하여 분석될 수 있다. 일부 실시예에서, 제어된 테스트에서 이벤트가 생성될 때 사용자(302)의 하나 이상의 특성이 추적될 수 있다. 특성은 연령, 성별, 지리적 지역, 활동 이력, 습관, 구매 패턴, 수입, 상호 작용 유형, 수입, 시장 세그먼트, 및/또는 사용자(302)를 특성화 할 수 있는 기타 관련 세분화에 기초할 수 있지만 이에 제한되지는 않는다. 예를 들어, 관련 시장 부분에 해당할 수 있는 지리적 지역에 따라 상호 작용이 어떻게 다를 수 있는지 분석하는 것이 바람직할 수 있다. 이벤트 생성기(412)는 사용자(302) 각각의 위치에 기초하여 이벤트를 세그먼트로 필터링 할 수 있고, 따라서 분석 엔진(416)이 각 세그먼트에 대한 분석을 개별적으로 수행할 수 있게 한다.

또 다른 예에서, 제어된 테스트의 결과는 서로 다른 데이터 유형의 이벤트를 포함할 수 있다. 일부 실시예에서, 제어된 테스트 동안, 다수의 데이터 유형의 이벤트가 생성 및 수집되고 있으며, 각각의 데이터 유형은 분석을 위해 상이한 메트릭을 요구할 수 있다. 또한 다양한 분석을 위해 데이터 유형에 기초하여 이벤트를 세분화 할 수 있다. 예를 들어, 웹 페이지의 요소에 대한 제어된 테스트는 마우스 클릭, 페이지 새로 고침, 조회 횟수 및/또는 조회 시간의 형태로 이벤트를 수집할 수 있다. 이벤트 생성기(412)는 분석을 위해 하나 이상의 데이터 유형을 필터링함으로써 이벤트를 세분화할 수 있다.

일부 실시예에서, 설계 사양(406)은 검색된 이벤트의 필터링을 결정하기 위한 명령을 이벤트 구성(408)에 제공할 수 있다. 예를 들어, 설계 사양(406)은 원하는 세분화 범위 및 유형을 지정할 수 있다. 일부 실시예에서, 이벤트 구성(408)은 일부 미리 결정된 규칙에 기초하여 검색된 이벤트에 필요한 필터링을 결정할 수 있다.

단계 510에서, 단계 508에서 필터링 된 이벤트는 이벤트가 단계 504에서 검색된 메트릭과 호환될 수 있도록 형식화 될 수 있다. 일부 실시예에서, 설계 사양(406)은 이벤트에 대한 형식화를 지정할 수 있다. 일부 실시예에서, 이벤트 구성(408)은 검색된 메트릭의 형식화 요구 사항에 기초하여 결정할 수 있다. 예를 들어, 각 메트릭은 하나 이상의 형식화 규칙과 연관될 수 있고 이벤트는 검색된 메트릭과 연관된 형식화 규칙에 기초하여 형식화 될 수 있다.

단계 512에서, 분석 엔진(416)은 단계 504로부터 검색된 메트릭을 사용하여 단계 510으로부터 형식화 된 이벤트를 분석한다. 일부 실시예에서, 메트릭은 이벤트에 대해 작동하고 결과를 생성한다.

단계 514에서, 출력 생성기(418)는 단계 512에서 획득된 결과를 사용하여 출력을 생성한다. 일부 실시예에서, 설계 사양은 출력을 생성하기 위해 결과를 추가로 분석하는 테스트 규칙을 지정할 수 있다. 테스트 규칙에는 변형 A(306-a)와 변형 B(306-b) 간의 결과 비교가 포함될 수 있다. 예를 들어, 출력 생성기(418)는 변형 A(306-a) 및 B(306-b) 사이에 어떠한 결과의 차이가 존재할 수 있는지를 보기 위해 추가 분석을 수행할 수 있다. 일부 실시 양태에서, 통계적 유의성을 측정하기 위해 변형 A(306-a) 및 B(306-b)의 결과 간의 비교를 분석하기 위해 통계적 분석이 사용될 수 있다. 통계적 분석의 예로는 값 차이, 백분율 차이, P-값, 신뢰 구간, 최소 검출 가능 차이(MDE) 및 제어된 테스트와 관련된 기타 수치적 또는 정성적 평가가 있다. 일부 실시예에서, 통계 분석의 그래픽 표현이 관찰의 용이성을 위해 생성될 수 있다. 일부 실시예에서, 테스트 규칙은 하나 이상의 메모리 저장소에 저장될 수 있으며, 설계 사양(406)은 XPE(400)이 테스트 규칙을 검색하도록 지시할 수 있다.

단계 516에서, 출력 생성기(418)는 사용자 인터페이스에서의 디스플레이를 위해 단계 514에서 생성된 출력을 제공할 수 있다. 예로서, 도 6은 개시된 실시예에 따른 예시적인 사용자 인터페이스를 도시한다. 디스플레이(600)는 디바이스(107 A-C, 119 A-C), 또는 일부 다른 모바일 또는 컴퓨팅 디바이스와 같은 출력 디바이스에 디스플레이 될 수 있다. 디스플레이(600)는 인터페이스(601, 603, 605, 607 및 608)를 포함한다. 인터페이스(601)는 "구매자 전환", "고객 당 GMV", "고객 당 주문" 및 "총 ASP"와 같은 제어된 테스트와 관련된 메트릭을 포함한다. 인터페이스(603)는 제어된 테스트에서 다른 변형 그룹을 포함한다. 인터페이스(605)는 변형 그룹 및/또는 제어 대해 인터페이스(601)에 표시된 상이한 메트릭의 값을 포함한다. 일부 실시예에서, 인터페이스(605)에 표시된 값은 단계 512에서 분석 엔진(416)에 의해 생성된 결과일 수 있다. 예를 들어 "총 ASP" 메트릭에 세 가지 다른 값이 디스플레이 될 수 있다. 602는 제어 그룹에 대한 값을 나타내는 반면 604 및 606은 각각 변형 그룹 A 및 변형 그룹 B의 값을 나타낼 수 있다. 인터페이스(607)는 단계 514에서 출력 생성기(418)에 의해 생성된 상이한 통계 분석 결과를 도시한다. 일부 실시예에서, 상이한 통계 분석의 결과는 인터페이스(608)에 도시된 바와 같이 그래픽 또는 차트 형태로 제공될 수 있다.

본 개시는 그 특정 실시예를 참조하여 도시되고 설명되었지만, 본 개시는 다른 환경에서, 변경없이, 실시될 수 있음을 이해할 것이다. 전술한 설명은 예시의 목적으로 제시되었다. 그것은 개시된 정확한 형태나 실시예에 대해 총망라된 것이 아니며 이것으로 한정되는 것은 아니다. 개시된 실시예의 설명 및 실시를 고려하는 것으로부터 변경 및 조정이 통상의 기술자에게 명백할 것이다. 추가적으로, 비록 개시된 실시예의 형태가 메모리에 저장되는 것으로서 설명되었지만, 통상의 기술자는 이들 형태가 2차 저장 디바이스, 예를 들면, 하드디스크나 CD ROM, 또는 다른 형태의 RAM이나 ROM, USB 매체, DVD, 블루레이, 또는 다른 광 드라이브 매체와 같이, 다른 형태의 컴퓨터 판독 가능한 매체에 저장될 수도 있는 것을 이해할 것이다.

상술한 설명 및 개시된 방법에 기초한 컴퓨터 프로그램은 숙련된 개발자의 기술 내에 있다. 여러 프로그램 혹은 프로그램 모듈은 통상의 기술자에게 알려진 어느 기술을 이용하여 생성되거나, 또는 기존의 소프트웨어와 연결하여 설계될 수 있다. 예를 들면, 프로그램 섹션 혹은 프로그램 모듈은 닷넷 프레임워크, 닷넷 컴팩트 프레임워크(및 비주얼 베이식, C 등과 같은, 관련 언어), 자바, C++, 오브젝티브 C, HTML, HTML/AJAX 조합, XML, 또는 자바 애플릿이 포함된 HTML 내에서 혹은 그것들에 의해서 설계될 수 있다.

게다가, 여기에서는 예시적인 실시예가 설명되었지만, 본 개시에 기초하여 통상의 기술자가 이해할 수 있는 바와 같이, 일부 또는 모든 실시예의 범위는 동등한 요소, 변경, 생략, 조합(예로써, 여러 실시예에 걸치는 형태의 조합), 조정 및/또는 수정을 가질 수 있다. 청구범위 내의 제한 사항은 그 청구범위 내에 적용된 언어에 기초하여 폭넓게 이해되도록 하는 것이며, 응용의 수행 동안 혹은 본 명세서 내에 설명된 예시로 한정되는 것은 아니다. 그 예시는 비배타적으로 해석되도록 하기 위한 것이다. 추가로, 개시된 방법의 스텝은 어떤 다른 방법으로 변경되거나, 스텝을 재배열 및/또는 스텝을 삽입하거나 삭제하는 것을 포함할 수 있다. 그러므로, 설명 및 예시는 오직 예시적으로 고려되는 것이며, 진정한 범위 및 기술 사상은 다음의 청구범위 및 그 동등한 전체 범위에 의해 나타내지는 것으로 의도된다.

Claims

제어된 테스트를 위한 컴퓨터화 된 방법으로서,
이벤트 데이터에 대한 설계 사양을 제공하고-상기 설계 사양은 하나 이상의 테스트 메트릭의 소스를 포함함-;
상기 하나 이상의 테스트 메트릭의 소스로부터 테스트 메트릭들을 검색(retrieve)하고-상기 각 테스트 메트릭은 하나 이상의 이벤트 데이터 형식 규칙과 연관됨-;
상기 설계 사양에 기초하여 테스트 이벤트를 구성하고-상기 테스트 이벤트를 구성하는 것은,
이벤트 데이터 소스로부터 하나 이상의 테스트 이벤트를 검색하고;
상기 검색된 테스트 이벤트를 세그먼트로 필터링하고; 그리고
상기 설계 사양에 기초하여 상기 세그먼트를 형식화하는 것에 의해 수행됨-;
상기 구성된 테스트 이벤트에 상기 테스트 메트릭을 적용하여 분석 데이터를 생성하고;
테스트 규칙에 기초하여 출력 데이터를 생성하고; 그리고
상기 출력 데이터를 디스플레이 하기 위한 사용자 인터페이스를 생성하는 것을 포함하는 컴퓨터화 된 방법.
청구항 1에 있어서,
상기 설계 사양은 표준화 된 설계 문서인 컴퓨터화 된 방법.
청구항 1에 있어서,
상기 설계 사양은 하나 이상의 이벤트 데이터 소스를 더 포함하는 컴퓨터화 된 방법.
청구항 1에 있어서,
상기 이벤트 데이터 소스는 상기 설계 사양에 지정되는 컴퓨터화 된 방법.
청구항 1에 있어서,
상기 설계 사양은 하나 이상의 이벤트 데이터 필터를 더 포함하는 컴퓨터화 된 방법.
청구항 5에 있어서,
상기 검색된 테스트 이벤트를 필터링하는 것은 상기 하나 이상의 이벤트 데이터 필터 중 적어도 하나에 기초하여 상기 검색된 테스트 이벤트를 필터링하는 것을 포함하는 컴퓨터화 된 방법.
청구항 1에 있어서,
상기 설계 사양은 테스트 기간을 포함하고; 그리고
상기 검색된 테스트 이벤트를 필터링하는 것은 상기 테스트 기간에 기초하여 상기 테스트 이벤트를 필터링하는 것을 포함하는 컴퓨터화 된 방법.
청구항 1에 있어서,
상기 설계 사양은 테스트 메트릭의 소스를 더 지정하고; 그리고
상기 테스트 메트릭을 검색하는 것은 상기 지정된 테스트 메트릭의 소스에서 상기 테스트 메트릭을 검색하는 것을 포함하는 컴퓨터화 된 방법.
청구항 1에 있어서,
상기 설계 사양은 테스트 지역을 지정하고; 그리고
상기 검색된 테스트 이벤트를 필터링하는 것은 상기 테스트 지역에 기초하여 상기 테스트 이벤트를 필터링하는 것을 포함하는 컴퓨터화 된 방법.
청구항 1에 있어서,
상기 설계 사양은 이벤트 데이터 유형을 지정하고; 그리고
상기 검색된 테스트 이벤트를 필터링하는 것은 상기 이벤트 데이터 유형에 기초하여 상기 테스트 이벤트를 필터링하는 것을 포함하는 컴퓨터화 된 방법.
청구항 1에 있어서,
상기 테스트 메트릭 중 적어도 하나는 하나 이상의 이벤트 데이터 형식 규칙과 연관되고; 그리고
상기 필터링된 테스트 이벤트를 형식화하는 것은 상기 필터링된 테스트 이벤트에 상기 테스트 메트릭 중 적어도 하나를 적용하는 것을 포함하는 컴퓨터화 된 방법.
청구항 11에 있어서,
상기 하나 이상의 이벤트 데이터 형식 규칙은 상기 지정된 테스트 메트릭 소스로부터 검색되는 컴퓨터화 된 방법.
청구항 1에 있어서,
상기 설계 사양은 하나 이상의 출력 규칙을 더 포함하고; 그리고
상기 출력 데이터를 생성하는 것은 상기 하나 이상의 출력 규칙에 기초하여 세그먼트화된 출력 데이터를 생성하는 것을 포함하는 컴퓨터화 된 방법.
사용자 인터페이스;
명령을 저장하는 메모리; 및
동작을 수행하기 위해 상기 명령을 실행하도록 구성된 적어도 하나의 프로세서를 포함하는 제어된 테스트를 위한 시스템으로서,
상기 동작은,
이벤트 데이터에 대한 설계 사양을 제공하는 것-상기 설계 사양은 하나 이상의 테스트 메트릭들을 포함하고, 상기 각 테스트 메트릭은 하나 이상의 이벤트 데이터 형식 규칙과 연관됨-;
상기 설계 사양에 기초하여 테스트 이벤트를 구성하는 것-상기 테스트 이벤트를 구성하는 것은,
상기 이벤트 데이터 소스로부터 하나 이상의 테스트 이벤트를 검색하는 것;
상기 검색된 테스트 이벤트를 세그먼트로 필터링하는 것; 및
상기 설계 사양에 기초하여 상기 세그먼트를 형식화하는 것에 의해 수행됨-;
상기 구성된 테스트 이벤트에 상기 테스트 메트릭을 적용하여 분석 데이터를 생성하는 것;
테스트 규칙에 기초하여 출력 데이터를 생성하는 것; 및
상기 출력 데이터를 디스플레이 하기 위한 사용자 인터페이스를 생성하는 것을 포함하는 시스템.
청구항 14에 있어서,
상기 설계 사양은 표준화 된 설계 문서인 시스템.
청구항 14에 있어서,
상기 하나 이상의 테스트 이벤트를 검색하기 위한 이벤트 데이터 소스는 상기 설계 사양에 지정되는 시스템.
청구항 14에 있어서,
상기 설계 사양은 하나 이상의 이벤트 데이터 필터를 더 포함하고, 그리고
상기 검색된 테스트 이벤트를 필터링하는 것은 상기 하나 이상의 이벤트 데이터 필터 중 적어도 하나에 기초하여 상기 검색된 테스트 이벤트를 필터링하는 것을 포함하는 시스템.
청구항 14에 있어서,
상기 설계 사양은 테스트 기간을 포함하고; 그리고
상기 검색된 테스트 이벤트를 필터링하는 것은 상기 테스트 기간에 기초하여 상기 테스트 이벤트를 필터링하는 것을 포함하는 시스템.
청구항 14에 있어서,
상기 설계 사양은 테스트 메트릭의 소스를 더 지정하고; 그리고
상기 테스트 메트릭을 검색하는 것은 상기 지정된 테스트 메트릭의 소스에서 상기 테스트 메트릭을 검색하는 것을 포함하는 시스템.
청구항 14에 있어서,
상기 설계 사양은 테스트 지역을 지정하고; 그리고
상기 검색된 테스트 이벤트를 필터링하는 것은 상기 테스트 지역에 기초하여 상기 테스트 이벤트를 필터링하는 것을 포함하는 시스템.