KR20220046541A - 실험 테스트 중 최적의 스탑 포인트를 예측하는 시스템 및 방법 - Google Patents
실험 테스트 중 최적의 스탑 포인트를 예측하는 시스템 및 방법 Download PDFInfo
- Publication number
- KR20220046541A KR20220046541A KR1020220043590A KR20220043590A KR20220046541A KR 20220046541 A KR20220046541 A KR 20220046541A KR 1020220043590 A KR1020220043590 A KR 1020220043590A KR 20220043590 A KR20220043590 A KR 20220043590A KR 20220046541 A KR20220046541 A KR 20220046541A
- Authority
- KR
- South Korea
- Prior art keywords
- minimum detectable
- detectable effect
- trend data
- mde
- time
- Prior art date
Links
- 238000012360 testing method Methods 0.000 title claims abstract description 211
- 238000000034 method Methods 0.000 title claims abstract description 76
- 238000002474 experimental method Methods 0.000 title description 2
- 230000000694 effects Effects 0.000 claims abstract description 160
- 230000008859 change Effects 0.000 claims abstract description 93
- 230000001186 cumulative effect Effects 0.000 claims abstract description 48
- 238000013401 experimental design Methods 0.000 claims abstract description 44
- 238000013461 design Methods 0.000 claims description 18
- 238000001514 detection method Methods 0.000 claims description 2
- 238000012384 transportation and delivery Methods 0.000 description 29
- 238000013400 design of experiment Methods 0.000 description 17
- 230000008569 process Effects 0.000 description 16
- 238000010586 diagram Methods 0.000 description 13
- 230000006872 improvement Effects 0.000 description 8
- 208000024714 major depressive disease Diseases 0.000 description 7
- 230000004044 response Effects 0.000 description 7
- 238000012856 packing Methods 0.000 description 6
- 238000013068 supply chain management Methods 0.000 description 6
- 230000002452 interceptive effect Effects 0.000 description 5
- 238000007726 management method Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 229920001690 polydopamine Polymers 0.000 description 4
- 101100498930 Mus musculus Degs1 gene Proteins 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 3
- 238000000540 analysis of variance Methods 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000013213 extrapolation Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000013179 statistical model Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000007723 transport mechanism Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 230000004931 aggregating effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000003466 anti-cipated effect Effects 0.000 description 1
- 238000013475 authorization Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000001364 causal effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000002716 delivery method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 238000010079 rubber tapping Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
- G06Q10/06395—Quality analysis or management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0637—Strategic management or analysis, e.g. setting a goal or target of an organisation; Planning actions based on goals; Analysis or evaluation of effectiveness of goals
- G06Q10/06375—Prediction of business process outcome or impact based on a proposed change
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0633—Workflow analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/10—Office automation; Time management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
- G06Q10/083—Shipping
- G06Q10/0833—Tracking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
- G06Q30/0201—Market modelling; Market analysis; Collecting market data
- G06Q30/0202—Market predictions or forecasting for commercial activities
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/06—Buying, selling or leasing transactions
- G06Q30/0601—Electronic shopping [e-shopping]
- G06Q30/0641—Shopping interfaces
Landscapes
- Business, Economics & Management (AREA)
- Human Resources & Organizations (AREA)
- Engineering & Computer Science (AREA)
- Strategic Management (AREA)
- Entrepreneurship & Innovation (AREA)
- Economics (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Development Economics (AREA)
- Educational Administration (AREA)
- Operations Research (AREA)
- General Business, Economics & Management (AREA)
- Marketing (AREA)
- Quality & Reliability (AREA)
- Tourism & Hospitality (AREA)
- Game Theory and Decision Science (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Analysis (AREA)
- Mathematical Physics (AREA)
- Pure & Applied Mathematics (AREA)
- Computational Mathematics (AREA)
- Mathematical Optimization (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Biology (AREA)
- Probability & Statistics with Applications (AREA)
- Bioinformatics & Computational Biology (AREA)
- Algebra (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Accounting & Taxation (AREA)
- Finance (AREA)
- Radar Systems Or Details Thereof (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Machines For Laying And Maintaining Railways (AREA)
- Debugging And Monitoring (AREA)
Abstract
본 개시는, 실험 테스트 중 최적의 스탑 포인트를 예측하기 위한 컴퓨터-구현 시스템 및 방법을 제공한다. 본 개시의 컴퓨터-구현 시스템은 명령들을 저장하는 메모리 및 적어도 하나 이상의 프로세서를 포함한다. 적어도 하나 이상의 프로세서는 명령들을 실행하여 서버 상에서의 활성 실험 설계 테스트를 위한 총 테스트 시간을 획득하고, 서버 상에서의 활성 실험 설계 테스트로부터의 총 테스트 시간 동안의 최소 검출 가능 효과(MDE) 경향 데이터를 획득하고, 최소 검출 가능 효과 경향 데이터 포인트와 연관된 시간의 순간 최소 검출 가능 효과 변화를 획득하고, 최소 검출 가능 효과 경향 데이터 포인트와 연관된 시간의 평균 최소 검출 가능 효과 변화를 획득하고, 최소 검출 가능 효과 경향 데이터와 연관된 총 테스트 시간 동안의 복수 개의 순간 최소 검출 가능 효과 변화를 결정하고, 복수 개의 순간 최소 검출 가능 효과와 연관된 복수 개의 누적 최소 검출 가능 효과 변화를 결정하고, 순간 최소 검출 가능 효과 변화와 평균 최소 검출 가능 효과 변화의 비교에 기초하여 최적의 스탑 포인트 시점을 결정하고, 활성 실험 설계 테스트를 완료하기 위해 서버에 최적의 스탑 포인트 시점을 제공하는 것을- 최적의 스탑 포인트 시점은 총 테스트 시간보다 짧음-, 수행할 수 있다.
Description
본 개시는 일반적으로 실행 중인 실험 테스트를 스탑할 시기를 결정하기 위한 컴퓨터화 된 시스템 및 방법에 관한 것이다. 특히, 본 개시의 실시 예는 실행 중인 실험 테스트의 최적의 스탑 포인트를 예측하기 위한 독창적이고 비 전통적인 시스템 및 방법에 관한 것이다.
현재 실험 설계(DOE)는 프로세스와 그 결과물에 영향을 미치는 요인 간의 관계를 이해하기 위해 활용된다. 실험 설계(DOE)는 관심이 있을 수 있는 다양한 요인들의 인과 관계를 이해하는 데 유용하다. 예를 들어, 많은 주문 이행 회사들은 수익을 극대화하기 위해 실험 설계(DOE)를 사용하여 고객의 행동 패턴을 이해한다. 특히, 주문 이행 회사는 웹 페이지에서 A / B 테스트를 활용하여 고객이 웹 페이지의 특정 요소들의 변화에 어떻게 반응하는지 이해할 수 있다. A / B 테스트에는 이러한 변형이 판매에 미치는 영향을 측정하는 데 사용할 수 있는 특정 요소의 시각적 인상과 형식의 변형이 있는 웹 페이지의 두 가지 버전을 준비하는 것이 포함될 수 있다. A / B 테스트를 통해 주문 이행 회사는 가설을 세우고 특정 요소가 고객의 행동에 긍정적 또는 부정적 영향을 미치는 이유를 파악할 수 있다. 고객의 반응을 이해하는 것은 웹 페이지의 변화에 긍정적으로 반응하는 고객을 유치하여 수익을 극대화하는 웹 페이지 디자인으로 이어질 수 있다.
그러나, 웹 페이지에 대한 DOE 또는 A / B 테스트는 유용하지만, 이러한 실험을 실행하려면 많은 리소스와 시간이 필요하다. DOE 또는 A / B 테스트는 통계적으로 유의미한 결과를 제공하기 위해 변형과 관련된 충분한 샘플 크기가 테스트 데이터에 포함되도록 하기 위해 긴 실험 테스트 시간이 필요할 수 있다. 예를 들어, 일부 실험 테스트는 고객에게 가장 긍정적인 영향을 미치는 변형에 대한 적절한 결정을 내리기에 충분히 유의미한 통계 데이터를 복구하기 위해 6 개월까지 지속될 수 있다. 고객에게 가장 긍정적인 영향을 미치는 변형은 일부 성공 메트릭 측면에서 승자라고 할 수도 있다. 성공 메트릭은 고객에게 가장 긍정적인 영향을 미치는 관심의 변형이 통계적으로 크게 개선될 수 있는 실험 테스트를 스탑 할 시기를 결정하는 데 사용될 수 있다. 유의미한 통계적 개선은 P-값을 임계 값과 비교하여 결정될 수 있다. 예를 들어, 유의미한 통계적 개선을 결정하기 위해 P-값과 비교되는 임계 값은 0.05 일 수 있다. 예를 들어, P-값이 임계 값보다 작으면 관심의 변형이 유의미한 통계적 개선에 도달하였거나 감지되었기 때문에 실험 테스트가 종료될 수 있다. 반면에, P-값이 임계 값보다 크거나 같으면 성공 메트릭이 실험 테스트를 스탑 하기 위한 유의미한 통계적 개선에 도달하지 않았거나 감지되지 않은 것이다. 유의미한 통계적 개선에 도달하지 못한 성공 메트릭은 유의미한 통계적 개선을 탐지하지 못하도록 관심의 변형과 관련된 표본 크기가 충분하지 않기 때문일 수 있다. DOE 또는 A / B 테스트가 종료 될 수 있다고 결정하기 위해 주문 이행 회사가 P값만을 사용하는 것은 DOE 또는 A / B 테스트를 실행하는 데 필요한 시간을 예측하는 데 효과적이지 않을 수 있다. 실험 테스트를 실행하는 데 필요한 시간을 비효율적으로 예측하면 주문 이행 회사에서 많은 리소스를 소비하게 될 수 있다.
따라서, 실험 테스트 동안 최적의 스탑 포인트를 예측하기 위한 개선된 방법 및 시스템이 필요하다.
본 개시의 일 양태는 실험 테스트 중 최적의 스탑 포인트를 예측하기 위한 컴퓨터-구현 시스템에 관한 것이다. 컴퓨터-구현 시스템은 명령들을 저장하는 메모리 및 적어도 하나 이상의 프로세서를 포함할 수 있다. 적어도 하나 이상의 프로세서는, 서버 상에서의 활성 실험 설계 테스트에 대한 총 테스트 시간을 획득하고, 서버 상에서의 활성 실험 설계 테스트에 대한 총 테스트 시간 동안 최소 검출 가능 효과 경향 데이터를 획득하고, 최소 검출 가능 효과 경향 데이터와 연관된 총 테스트 시간 동안 평균 최소 검출 가능 효과 변화를 결정하는 명령들을 실행하도록 구성될 수 있다. 또한, 적어도 하나 이상의 프로세서는, 최소 검출 가능 효과 경향 데이터와 연관된 총 테스트 시간 동안 최소 검출 가능 효과 누적 변화 임계 값을 결정하고, 최소 검출 가능 효과 경향 데이터와 연관된 총 테스트 시간 동안 복수 개의 순간 최소 검출 가능 효과 변화를 결정하고, 복수 개의 순간 최소 검출 가능 효과와 연관된 복수 개의 누적 최소 검출 가능 효과 변화를 결정하도록 구성될 수 있다. 또한, 적어도 하나 이상의 프로세서는, 평균 최소 검출 가능 효과 변화, 복수 개의 순간 최소 검출 가능 효과 변화 및 최소 검출 가능 효과 누적 변화 임계 값에 기초하여 최적의 스탑 포인트 시점을 결정하도록 구성될 수 있다. 적어도 하나 이상의 프로세서는, 활성 실험 설계 테스트를 완료하기 위해 서버에 최적의 스탑 포인트 시점을 제공하도록 구성될 수 있다.
본 개시의 또 다른 양태는 실험 테스트 중 최적의 스탑 포인트를 예측하기 위한 방법에 관한 것이다. 이 방법은 서버 상에서의 활성 실험 설계 테스트에 대한 총 테스트 시간을 획득하는 단계, 서버 상에서의 활성 실험 설계 테스트에 대한 총 테스트 시간 동안 최소 검출 가능 효과 경향 데이터를 획득하는 단계 및 최소 검출 가능 효과 경향 데이터와 연관된 총 테스트 시간 동안 평균 최소 검출 가능 효과 변화를 결정하는 단계를 포함할 수 있다. 또한, 이 방법은 최소 검출 가능 효과 경향 데이터와 연관된 총 테스트 시간 동안 최소 검출 가능 효과 누적 변화 임계 값을 결정하고, 최소 검출 가능 효과 경향 데이터와 연관된 총 테스트 시간 동안 복수 개의 순간 최소 검출 가능 효과 변화를 결정하고 그리고 복수 개의 순간 최소 검출 가능 효과와 연관된 복수 개의 누적 최소 검출 가능 효과 변화를 결정하는 것을 포함할 수 있다. 또한, 이 방법은 평균 최소 검출 가능 효과 변화, 복수 개의 순간 최소 검출 가능 효과 변화 및 최소 검출 가능 효과 누적 변화 임계 값에 기초하여 최적의 스탑 포인트 시점을 결정하는 것을 포함할 수 있다. 이 방법은 활성 실험 설계 테스트를 완료하기 위해 서버에 최적의 스탑 포인트 시점을 제공하는 단계를 포함할 수 있다.
본 개시의 또 다른 양태는 실험 테스트 중 최적의 스탑 포인트를 예측하기 위한 컴퓨터-구현 시스템에 관한 것이다. 컴퓨터-구현 시스템은 명령들을 저장하는 메모리 및 적어도 하나 이상의 프로세서를 포함할 수 있다. 적어도 하나 이상의 프로세서는, 서버 상에서의 활성 실험 설계 테스트에 대한 총 테스트 시간을 획득하고, 서버 상에서의 활성 실험 설계 테스트에 대한 총 테스트 시간 동안 최소 검출 가능 효과 경향 데이터를 획득하고, 최소 검출 가능 효과 경향 데이터와 연관된 총 테스트 시간 동안 평균 최소 검출 가능 효과 변화를 결정하는 명령들을 실행하도록 구성될 수 있다. 또한, 적어도 하나 이상의 프로세서는, 최소 검출 가능 효과 경향 데이터와 연관된 총 테스트 시간 동안 최소 검출 가능 효과 누적 변화 임계 값을 결정하고, 최소 검출 가능 효과 경향 데이터와 연관된 총 테스트 시간 동안 복수 개의 순간 최소 검출 가능 효과 변화를 결정하고, 복수 개의 순간 최소 검출 가능 효과와 연관된 복수 개의 누적 최소 검출 가능 효과 변화를 결정하도록 구성될 수 있다. 또한, 적어도 하나 이상의 프로세서는, 데이터 베이스로부터의 최적의 스탑 포인트 시점과 연관된 순간 최소 검출 가능 효과 변화가 평균 최소 검출 가능 효과 변화보다 작고, 데이터 베이스로부터의 최적의 스탑 포인트 시점과 연관된 누적 검출 가능 효과 변화가 최소 검출 가능 효과 누적 변화 임계 값보다 큰 시점을 최적의 스탑 포인트 시점으로 결정하도록 구성될 수 있다. 적어도 하나 이상의 프로세서는, 활성 실험 설계 테스트를 완료하기 위해 서버에 최적의 스탑 포인트 시점을 제공하도록 구성될 수 있다.
본 개시의 또 다른 양태는 실험 테스트 중 최적의 스탑 포인트를 예측하기 위한 컴퓨터-구현 시스템에 관한 것이다. 컴퓨터-구현 시스템은 명령들을 저장하는 메모리 및 단계들을 수행하도록 명령들을 실행하도록 구성된 적어도 하나 이상의 프로세서를 포함할 수 있다. 단계들은, 서버 상에서의 활성 실험 설계 테스트를 위한 총 테스트 시간을 획득하는 단계, 서버 상에서의 활성 실험 설계 테스트로부터의 총 테스트 시간 동안의 최소 검출 가능 효과(MDE) 경향 데이터를 획득하는 단계, 최소 검출 가능 효과 경향 데이터 포인트와 연관된 시간의 순간 최소 검출 가능 효과 변화를 획득하는 단계, 최소 검출 가능 효과 경향 데이터 포인트와 연관된 시간의 평균 최소 검출 가능 효과 변화를 획득하는 단계, 최소 검출 가능 효과 경향 데이터와 연관된 총 테스트 시간 동안의 복수 개의 순간 최소 검출 가능 효과 변화를 결정하는 단계, 복수 개의 순간 최소 검출 가능 효과와 연관된 복수 개의 누적 최소 검출 가능 효과 변화를 결정하는 단계, 순간 최소 검출 가능 효과 변화와 평균 최소 검출 가능 효과 변화의 비교에 기초하여 최적의 스탑 포인트 시점을 결정하는 단계 및 활성 실험 설계 테스트를 완료하기 위해 서버에 최적의 스탑 포인트 시점을 제공하는 단계를 포함- 최적의 스탑 포인트 시점은 총 테스트 시간보다 짧음-,할 수 있다.
본 개시의 또 다른 양태는 실험 테스트 중 최적의 스탑 포인트를 예측하기 위한 컴퓨터-구현 방법에 관한 것이다. 방법은 서버 상에서의 활성 실험 설계 테스트를 위한 총 테스트 시간을 획득하고, 서버 상에서의 활성 실험 설계 테스트로부터 총 테스트 시간 동안의 최소 검출 가능 효과 경향 데이터를 획득하고, 최소 검출 가능 효과 경향 데이터 포인트와 연관된 시간의 순간 최소 검출 가능 효과 변화를 획득하고, 최소 검출 가능 효과 경향 데이터 포인트와 연관된 시간의 평균 최소 검출 가능 효과 변화를 획득하고, 최소 검출 가능 효과 경향 데이터와 연관된 총 테스트 시간 동안의 복수 개의 순간 최소 검출 가능 효과 변화를 결정하고, 복수 개의 순간 최소 검출 가능 효과와 연관된 복수 개의 누적 최소 검출 가능 효과 변화를 결정하고, 순간 최소 검출 가능 효과 변화와 평균 최소 검출 가능 효과 변화의 비교에 기초하여 최적의 스탑 포인트 시점을 결정하고, 그리고, 활성 실험 설계 테스트를 완료하기 위해 서버에 최적의 스탑 포인트 시점을 제공하는 것을 포함- 최적의 스탑 포인트 시점은 총 테스트 시간보다 짧음-,할 수 있다.
본 개시의 또 다른 양태는 실험 테스트 중 최적의 스탑 포인트를 예측하기 위한 컴퓨터-구현 시스템에 관한 것이다. 컴퓨터-구현 시스템은 명령들을 저장하는 메모리 및 단계들을 수행하도록 명령들을 수행하도록 구성된 적어도 하나 이상의 프로세서를 포함할 수 있다. 단계들은, 서버 상에서의 활성 실험 설계 테스트를 위한 총 테스트 시간을 획득하는 단계, 서버 상에서의 활성 실험 설계 테스트로부터의 총 테스트 시간 동안의 최소 검출 가능 효과 경향 데이터를 획득하는 단계, 최소 검출 가능 효과 경향 데이터 포인트와 연관된 시간의 순간 최소 검출 가능 효과 변화를 획득하는 단계, 최소 검출 가능 효과 경향 데이터 포인트와 연관된 시간의 평균 최소 검출 가능 효과 변화를 획득하는 단계, 최소 검출 가능 효과 경향 데이터와 연관된 총 테스트 시간 동안의 복수 개의 순간 최소 검출 가능 효과 변화를 결정하는 단계, 복수 개의 순간 최소 검출 가능 효과와 연관된 복수 개의 누적 최소 검출 가능 효과 변화를 결정하는 단계, 데이터 베이스에 총 테스트 시간, 최소 검출 가능 효과 누적 변화 임계 값, 최소 검출 가능 효과 경향 데이터, 평균 최소 검출 가능 효과 변화, 복수 개의 순간 최소 검출 가능 효과 변화, 복수 개의 누적 최소 검출 가능 효과 변화 및 최적의 스탑 포인트 시점을 저장하는 단계, 순간 최소 검출 가능 효과 변화와 평균 최소 검출 가능 효과 변화의 비교에 기초하여 최적의 스탑 포인트 시점을 결정하는 단계 및 활성 실험 설계 테스트를 완료하기 위해 서버에 최적의 스탑 포인트 시점을 제공하는 단계를 포함- 최적의 스탑 포인트 시점은 총 테스트 시간보다 짧음-,할 수 있다.
다른 시스템, 방법 및 컴퓨터 판독 가능 매체가 또한 본 명세서에서 논의된다.
도 1a는 개시된 실시예들에 따른, 배송, 운송 및 물류 운영을 가능하게 하는 통신을 위한 컴퓨터화된 시스템을 포함하는 네트워크의 예시적인 실시예를 도시하는 개략적인 블록도이다.
도 1b는 개시된 실시예들에 따른, 상호 동작 사용자 인터페이스 요소와 함께 검색 요청을 만족시키는 하나 이상의 검색 결과를 포함하는 검색 결과 페이지(SRP, Search Result Page)의 샘플을 도시한다.
도 1c는 개시된 실시예들에 따른, 상호 동작 사용자 인터페이스 요소와 함께 제품 및 제품에 관한 정보를 포함하는 샘플 단일 디스플레이 페이지(SDP, Single Display Page)를 도시한다.
도 1d는 개시된 실시예들에 따른, 상호 동작 사용자 인터페이스 요소와 함께 가상 쇼핑 장바구니에 담긴 아이템을 포함하는 샘플 장바구니 페이지를 도시한다.
도 1e는 개시된 실시예들에 따른, 상호 동작 사용자 인터페이스 요소와 함께 구매 및 배송에 관한 정보와 함께 가상 쇼핑 장바구니로부터의 아이템을 포함하는 샘플 주문 페이지를 도시한다.
도 2는 개시된 실시예들에 따른, 개시된 컴퓨터화된 시스템을 이용하도록 구성된 예시적인 풀필먼트 센터의 개략도이다.
도 3은 개시된 실시예들에 따른, 실험 테스트 중 최적의 스탑 포인트를 예측하기 위한 예시적인 시스템을 예시하는 블록도이다.
도 4는 개시된 실시예들에 따른, 샘플 최소 검출 가능 효과 경향 데이터 곡선 및 평균 최소 검출 가능 효과 변화를 도시한다.
도 5는 개시된 실시예들에 따른, 최적의 스탑 포인트 시점을 결정하는 예시적인 방법의 흐름도이다.
도 6은 개시된 실시예들에 따른, 복수 개의 순간 최소 검출 가능 효과 변화를 결정하는 예시적인 방법의 흐름도이다.
도 7은 개시된 실시예들에 따른, 복수 개의 누적 최소 검출 가능 효과 변화를 결정하는 예시적인 방법의 흐름도이다.
도 8은 개시된 실시예들에 따른, 활성 A / B 테스트 또는 실험 설계 테스트를 중지하기 위해 최적의 스탑 포인트 시점을 결정하고 서버에 제공하는 예시적인 방법의 흐름도이다.
도 9는 개시된 실시예들에 따른, 샘플 최적 스탑 포인트 결정 조건을 도시한다.
도 1b는 개시된 실시예들에 따른, 상호 동작 사용자 인터페이스 요소와 함께 검색 요청을 만족시키는 하나 이상의 검색 결과를 포함하는 검색 결과 페이지(SRP, Search Result Page)의 샘플을 도시한다.
도 1c는 개시된 실시예들에 따른, 상호 동작 사용자 인터페이스 요소와 함께 제품 및 제품에 관한 정보를 포함하는 샘플 단일 디스플레이 페이지(SDP, Single Display Page)를 도시한다.
도 1d는 개시된 실시예들에 따른, 상호 동작 사용자 인터페이스 요소와 함께 가상 쇼핑 장바구니에 담긴 아이템을 포함하는 샘플 장바구니 페이지를 도시한다.
도 1e는 개시된 실시예들에 따른, 상호 동작 사용자 인터페이스 요소와 함께 구매 및 배송에 관한 정보와 함께 가상 쇼핑 장바구니로부터의 아이템을 포함하는 샘플 주문 페이지를 도시한다.
도 2는 개시된 실시예들에 따른, 개시된 컴퓨터화된 시스템을 이용하도록 구성된 예시적인 풀필먼트 센터의 개략도이다.
도 3은 개시된 실시예들에 따른, 실험 테스트 중 최적의 스탑 포인트를 예측하기 위한 예시적인 시스템을 예시하는 블록도이다.
도 4는 개시된 실시예들에 따른, 샘플 최소 검출 가능 효과 경향 데이터 곡선 및 평균 최소 검출 가능 효과 변화를 도시한다.
도 5는 개시된 실시예들에 따른, 최적의 스탑 포인트 시점을 결정하는 예시적인 방법의 흐름도이다.
도 6은 개시된 실시예들에 따른, 복수 개의 순간 최소 검출 가능 효과 변화를 결정하는 예시적인 방법의 흐름도이다.
도 7은 개시된 실시예들에 따른, 복수 개의 누적 최소 검출 가능 효과 변화를 결정하는 예시적인 방법의 흐름도이다.
도 8은 개시된 실시예들에 따른, 활성 A / B 테스트 또는 실험 설계 테스트를 중지하기 위해 최적의 스탑 포인트 시점을 결정하고 서버에 제공하는 예시적인 방법의 흐름도이다.
도 9는 개시된 실시예들에 따른, 샘플 최적 스탑 포인트 결정 조건을 도시한다.
이하의 상세한 설명은 첨부 도면을 참조한다. 가능하면, 동일한 참조 번호가 도면 및 이하의 설명에서 동일하거나 또는 유사한 부분을 참조하기 위해 사용된다. 몇몇 예시적인 실시예가 본 명세서에 설명되지만, 변형예, 적응예 및 다른 구현예가 가능하다. 예를 들어, 도면들에 도시된 구성 요소들 및 단계들에 대한 대체예, 추가예 또는 변형예가 이루어질 수 있으며, 본 명세서에서 설명된 예시적 방법들을 개시된 방법들에 대해 단계들을 대체, 재정렬, 제거 또는 추가함으로써 변형될 수 있다. 따라서 이하의 상세한 설명은 개시된 실시예들 및 예시들로 제한되지 않는다. 대신에, 본 발명의 적합한 범위는 첨부된 청구 범위에 의해 규정된다.
본 개시의 실시 예는 웹 페이지에서 수행되는 활성 A / B 테스트 또는 실험 설계 테스트의 최적의 스탑 포인트 시점을 구체적으로 예측하도록 구성된 시스템 및 방법에 관한 것이다. 최적의 스탑 포인트 시점은 웹 사이트 운영자 (예: 온라인 주문 이행 회사)가 활성 A / B 테스트 또는 실험 설계 테스트를 수행하는 데 추가 자본 리소스를 소비하지 못하도록 하기 위해 활성 A / B 테스트 또는 실험 설계 테스트를 완료하거나 종료하는 데 사용될 수 있다. 최적의 스탑 포인트 시점은 활성 A / B 테스트 또는 실험 설계 테스트에서 최소 검출 가능 효과(Minimal Detectable Effect, MDE)를 사용하여 결정될 수 있다. 현재 MDE 값 또는 데이터(관찰된 MDE 데이터라고도 함)는 활성 A / B 테스트 또는 실험 설계 테스트에서 지금까지 관심의 변화에 대해 수집된 데이터를 통해 계산될 수 있다. 지금까지 관심의 변화에 대해 수집된 데이터는 주문 이행 회사의 기본 웹 페이지와 기본 웹 페이지의 변형 사이의 특징들의 변화일 수 있다. 현재 MDE 데이터는 활성 A / B 테스트 또는 실험 설계 테스트가 지금까지 관심의 변화에 대해 수집된 데이터에서 최소 효과 크기를 감지할 만큼 충분히 강력함을 보여줄 수 있다. 또한, 활성 A / B 테스트 또는 실험 설계 테스트가 장기간 실행되는 경우 미래 또는 예측 MDE 데이터는 활성 A / B 테스트 또는 실험 설계 테스트에서 관심의 변화에 대해 수집된 데이터로부터 결정될 수도 있다. MDE 경향 데이터에는 관찰 된 MDE 데이터와 활성 A / B 테스트 또는 실험 설계 테스트의 미래 또는 예측 MDE 데이터가 모두 포함될 수 있다. 따라서, MDE 경향 데이터는 활성 A / B 테스트 또는 실험 설계 테스트를 계속할지 중지할지 여부를 결정하는데 사용될 수 있다. 예를 들어, 주문 이행 회사가 관찰된 MDE 데이터 또는 MDE 경향 데이터가 예를 들어 5 %를 넘지 않아야 한다고 결정하고, 관찰된 MDE 데이터가 5 % 보다 높지만 미래 또는 예측 MDE 데이터 경향이 곧 5 % 아래로 떨어질 가능성이 있는 경우 주문 이행 회사는 관찰된 MDE 데이터 또는 MDE 경향 데이터가 5 % 이하가 될 때까지 활성 A / B 테스트 또는 실험 설계 테스트를 계속할 가치가 있다고 결정할 수 있다. 관찰된 MDE 데이터 또는 MDE 경향 데이터가 5 % 이하일 수 있는 경우, 주문 이행 회사는 활성 A / B 테스트 또는 실험 설계 테스트를 종료할 수 있다. 또는 미래 또는 예상 MDE 데이터 경향이 합리적인 미래 시간에 5 % 아래로 떨어질 가능성이 없는 경우, 주문 이행 회사는 지금 테스트를 종료하기로 결정할 수 있다.
다른 실시 예에서, 주문 이행 회사가 MDE 경향 데이터가 예를 들어 5 %를 넘지 않아야 한다고 결정하고, MDE 경향 데이터가 5 % 보다 높지만 MDE 경향 데이터가 곧 5 % 아래로 떨어질 가능성이 있는 경우, 주문 이행 회사는 MDE 경향 데이터가 5 % 이하가 될 때까지 활성 A / B 테스트 또는 실험 설계 테스트를 계속할 가치가 있다고 결정할 수 있다. MDE 경향 데이터가 5 % 이하일 수 있는 경우, 주문 이행 회사는 활성 A / B 테스트 또는 실험 설계 테스트를 종료할 수 있다. 또는 MDE 경향 데이터의 경향이 합리적인 미래 시간에 5 % 아래로 내려갈 가능성이 없는 경우, 주문 이행 회사는 지금 테스트를 종료하기로 결정할 수 있다.
다른 실시 예에서, 주문 이행 회사가 현재 MDE 값 또는 데이터가 예를 들어 5 %를 넘지 않아야 한다고 결정하고, 현재 MDE 값 또는 데이터가 5 % 보다 높지만 현재 MDE 값 또는 데이터 경향이 곧 5 % 아래로 떨어질 가능성이 있는 경우, 주문 이행 회사는 현재 MDE 값 또는 데이터가 5 % 이하가 될 때까지 활성 A / B 테스트 또는 실험 설계 테스트를 계속할 가치가 있다고 결정할 수 있다. 현재 MDE 값 또는 데이터가 5 % 이하일 수 있는 경우, 주문 이행 회사는 활성 A / B 테스트 또는 실험 설계 테스트를 종료할 수 있다. 또는 현재 MDE 값 또는 데이터 경향이 합리적인 미래 시간에 5 % 아래로 떨어질 가능성이 없는 경우, 주문 이행 회사는 지금 테스트를 종료하기로 결정할 수 있다.
또 다른 실시 예에서, 주문 이행 회사가 관찰된 MDE 데이터가 예를 들어 5 %를 넘지 않아야 한다고 결정하고, 관찰된 MDE 데이터가 5 % 보다 높지만 MDE 경향 데이터는 곧 5 % 아래로 떨어질 가능성이 있는 경우, 주문 이행 회사는 관찰된 MDE 데이터가 5 % 이하가 될 때까지 활성 A / B 테스트 또는 실험 설계 테스트를 계속할 가치가 있다고 결정할 수 있다. MDE 경향 데이터가 5 % 이하일 수 있는 경우, 주문 이행 회사는 활성 A / B 테스트 또는 실험 설계 테스트를 종료할 수 있다. 또는 MDE 경향 데이터가 합리적인 미래 시간에 5 % 아래로 떨어질 가능성이 없는 경우, 주문 이행 회사는 지금 테스트를 종료하기로 결정할 수 있다.
다른 실시 예에서, 주문 이행 회사가 관찰된 MDE 데이터가 예를 들어 5 %를 넘지 않아야 한다고 결정하고, 관찰된 MDE 데이터가 5 % 보다 높지만 관찰된 MDE 데이터 경향이 곧 5 % 아래로 떨어질 가능성이 있는 경우, 주문 이행 회사는 관찰된 MDE 데이터가 5 % 이하가 될 때까지 활성 A / B 테스트 또는 실험 설계 테스트를 계속할 가치가 있다고 결정할 수 있다. 관찰된 MDE 데이터가 5 % 이하일 수 있는 경우, 주문 이행 회사는 활성 A / B 테스트 또는 실험 설계 테스트를 종료 할 수 있다. 또는 관찰된 MDE 데이터 경향이 합리적인 미래 시간에 5 % 아래로 떨어질 가능성이 없는 경우, 주문 이행 회사는 지금 테스트를 종료하기로 결정할 수 있다.
도 1a를 참조하면, 배송, 운송 및 물류 운영을 가능하게 하는 통신을 위한 컴퓨터 시스템을 포함하는 예시적인 시스템의 실시예를 나타낸 개략적인 블록도(100)가 도시되어 있다. 도 1a에 나타낸 바와 같이, 시스템(100)은 다양한 시스템을 포함할 수 있으며, 이들 각각은 하나 이상의 네트워크를 통해 서로 연결될 수 있다. 시스템은 또한(예를 들어, 케이블을 사용한) 직접 연결을 통해 서로 연결될 수 있다. 도시된 시스템은 배송 기관 기술(shipment authority technology, SAT) 시스템(101), 외부 프론트 엔드 시스템(103), 내부 프론트 엔드 시스템(105), 운송 시스템(107), 모바일 디바이스(107A, 107B, 107C), 판매자 포털(109), 배송 및 주문 트래킹(shipment and order tracking, SOT) 시스템(111), 풀필먼트 최적화(fulfillment optimization, FO) 시스템(113), 풀필먼트 메시징 게이트웨이(fulfillment messaging gateway, FMG)(115), 공급 체인 관리(supply chain management, SCM) 시스템(117), 창고 관리 시스템(119), 모바일 디바이스(119A, 119B, 119C)(풀필먼트 센터(fulfillment center, FC)(200) 내부에 있는 것으로 도시됨), 제3자 풀필먼트 시스템(121A, 121B, 121C), 풀필먼트 센터 인증 시스템(fulfillment center authorization system, FC Auth)(123), 및 노동 관리 시스템(labor management system, LMS)(125)을 포함한다.
일부 실시예에서, SAT 시스템(101)은 주문 상태와 배달 상태를 모니터링하는 컴퓨터 시스템으로서 구현될 수 있다. 예를 들면, SAT 시스템(101)은 주문이 약속된 배달 날짜(Promised Delivery Date, PDD)를 지났는지를 결정할 수 있고, 새로운 주문을 개시시키고, 배달되지 않은 주문의 아이템을 다시 배송하며, 배달되지 않은 주문을 취소하고, 주문 고객과 연락을 시작하는 것 등을 포함하는 적합한 조치를 취할 수 있다. SAT 시스템(101)은 또한,(특정 기간 동안 배송된 패키지의 개수와 같은) 출력, 및(배송시 사용하기 위해 수신된 빈 카드보드 박스의 개수와 같은) 입력을 포함하는 다른 데이터를 감시할 수 있다. SAT 시스템(101)은 또한, 외부 프론트 엔드 시스템(103) 및 FO 시스템(113)과 같은 장치들 간의(예를 들면, 저장 전달(store-and-forward) 또는 다른 기술을 사용하는) 통신을 가능하게 하는 시스템(100) 내의 상이한 장치들 사이의 게이트웨이로서 동작할 수 있다.
일부 실시예에서, 외부 프론트 엔드 시스템(103)은 외부 사용자가 시스템(100) 내의 하나 이상의 시스템과 상호 동작할 수 있게 하는 컴퓨터 시스템으로서 구현될 수 있다. 예를 들면, 시스템(100)이 시스템의 프레젠테이션을 가능하게 하여 사용자가 아이템에 대한 주문을 할 수 있도록 하는 실시예에서, 외부 프론트 엔드 시스템(103)은 검색 요청을 수신하고, 아이템 페이지를 제시하며, 결제 정보를 요청하는 웹 서버로서 구현될 수 있다. 예를 들면, 외부 프론트 엔드 시스템(103)은 Apache HTTP 서버, Microsoft Internet Information Services(IIS), NGINX 등과 같은 소프트웨어를 실행하는 컴퓨터 또는 컴퓨터들로서 구현될 수 있다. 다른 실시예에서, 외부 프론트 엔드 시스템(103)은 외부 디바이스(예를 들어, 모바일 디바이스(102A) 또는 컴퓨터(102B))로부터 요청을 수신 및 처리하고, 이들 요청에 기초하여 데이터베이스 및 다른 데이터 저장 장치로부터 정보를 획득하며, 획득한 정보에 기초하여 수신된 요청에 대한 응답을 제공하도록 (설계된 커스텀 웹 서버 소프트웨어를 실행)할 수 있다.
일부 실시예에서, 외부 프론트 엔드 시스템(103)은 웹 캐싱 시스템, 데이터베이스, 검색 시스템, 또는 결제 시스템 중 하나 이상을 포함할 수 있다. 일 양상에서, 외부 프론트 엔드 시스템(103)은 이들 시스템 중 하나 이상을 포함할 수 있는 반면, 다른 양상에서는 외부 프론트 엔드 시스템(103)은 이들 시스템 중 하나 이상에 연결된 인터페이스(예를 들면, 서버 대 서버, 데이터베이스 대 데이터베이스, 또는 다른 네트워크 연결)를 포함할 수 있다.
도 1b, 1c, 1d 및 1e에 의해 나타낸 단계들의 예시적인 세트는 외부 프론트 엔드 시스템(103)의 일부 동작을 설명하는 것에 도움이 될 것이다. 외부 프론트 엔드 시스템(103)은 프레젠테이션 및/또는 디스플레이를 위해 시스템(100) 내의 시스템 또는 디바이스로부터 정보를 수신할 수 있다. 예를 들면, 외부 프론트 엔드 시스템(103)은 검색 결과 페이지(Search Result Page, SRP)(예를 들면, 도 1b), 싱글 디테일 페이지(Single Detail Page, SDP)(예를 들면, 도 1c), 장바구니 페이지(Cart page)(예를 들면, 도 1d), 또는 주문 페이지(예를 들면, 도 1e)를 포함하는 하나 이상의 웹페이지를 호스팅하거나 제공할 수 있다.(예를 들면, 모바일 디바이스(102A) 또는 컴퓨터(102B)를 사용하는) 사용자 디바이스는 외부 프론트 엔드 시스템(103)으로 이동하고 검색 박스에 정보를 입력함으로써 검색을 요청할 수 있다. 외부 프론트 엔드 시스템(103)은 시스템(100) 내의 하나 이상의 시스템으로부터 정보를 요청할 수 있다. 예를 들면, 외부 프론트 엔드 시스템(103)은 FO 시스템(113)으로부터 검색 요청을 만족하는 정보를 요청할 수 있다. 외부 프론트 엔드 시스템(103)은 또한,(FO 시스템(113)으로부터) 검색 결과에 포함된 각 제품에 대한 약속된 배달 날짜(Promised Delivery Date) 또는 "PDD"를 요청하고 수신할 수 있다. 일부 실시예에서, PDD는 제품이 들어있는 패키지가 특정 기간 이내, 예를 들면, 하루의 끝(PM 11:59)까지 주문되면 언제 사용자가 원하는 장소에 도착하는지에 대한 추정 또는 제품이 사용자가 원하는 장소에 배달될 약속된 날짜를 나타낼 수 있다(PDD는 FO 시스템(113)과 관련하여 이하에서 더 논의된다).
외부 프론트 엔드 시스템(103)은 정보에 기초하여 SRP(예를 들면, 도 1b)를 준비할 수 있다. SRP는 검색 요청을 만족하는 정보를 포함할 수 있다. 예를 들면, 이는 검색 요청을 만족하는 제품의 사진을 포함할 수 있다. SRP는 또한, 각 제품에 대한 각각의 가격, 또는 각 제품, PDD, 무게, 크기, 오퍼(offer), 할인 등에 대한 개선된 배달 옵션에 관한 정보를 포함할 수 있다. 외부 프론트 엔드 시스템(103)은(예를 들면, 네트워크를 통해) SRP를 요청 사용자 디바이스로 전송할 수 있다.
사용자 디바이스는 SRP에 나타낸 제품을 선택하기 위해, 예를 들면, 사용자 인터페이스를 클릭 또는 탭핑하거나, 다른 입력 디바이스를 사용하여 SRP로부터 제품을 선택할 수 있다. 사용자 디바이스는 선택된 제품에 관한 정보에 대한 요청을 만들어 내고 이를 외부 프론트 엔드 시스템(103)으로 전송할 수 있다. 이에 응답하여, 외부 프론트 엔드 시스템(103)은 선택된 제품에 관한 정보를 요청할 수 있다. 예를 들면, 정보는 각각의 SRP 상에 제품에 대해 제시된 것 이상의 추가 정보를 포함할 수 있다. 이는, 예를 들면, 유통 기한, 원산지, 무게, 크기, 패키지 내의 아이템 개수, 취급 지침, 또는 제품에 대한 다른 정보를 포함할 수 있다. 정보는 또한,(예를 들면, 이 제품 및 적어도 하나의 다른 제품을 구입한 고객의 빅 데이터 및/또는 기계 학습 분석에 기초한) 유사한 제품에 대한 추천, 자주 묻는 질문에 대한 답변, 고객의 후기, 제조 업체 정보, 사진 등을 포함할 수 있다.
외부 프론트 엔드 시스템(103)은 수신된 제품 정보에 기초하여 SDP(Single Detail Page)(예를 들면, 도 1c)를 준비할 수 있다. SDP는 또한, "지금 구매(Buy Now)" 버튼, "장바구니에 추가(Add to Cart)" 버튼, 수량 필드, 아이템 사진 등과 같은 다른 상호 동작 요소를 포함할 수 있다. SDP는 제품을 오퍼하는 판매자의 리스트를 포함할 수 있다. 이 리스트는 최저가로 제품을 판매하는 것으로 오퍼하는 판매자가 리스트의 최상단에 위치하도록, 각 판매자가 오퍼한 가격에 기초하여 순서가 정해질 수 있다. 이 리스트는 또한 최고 순위 판매자가 리스트의 최상단에 위치하도록, 판매자 순위에 기초하여 순서가 정해질 수 있다. 판매자 순위는 예를 들어, 약속된 PDD를 지켰는지에 대한 판매자의 과거 추적 기록을 포함하는 복수의 인자에 기초하여 만들어질 수 있다. 외부 프론트 엔드 시스템(103)은(예를 들면, 네트워크를 통해) SDP를 요청 사용자 디바이스로 전달할 수 있다.
요청 사용자 디바이스는 제품 정보를 나열하는 SDP를 수신할 수 있다. SDP를 수신하면, 사용자 디바이스는 SDP와 상호 동작할 수 있다. 예를 들면, 요청 사용자 디바이스의 사용자는 SDP의 "장바구니에 담기(Place in Cart)" 버튼을 클릭하거나, 이와 상호 동작할 수 있다. 이렇게 하면 사용자와 연계된 쇼핑 장바구니에 제품이 추가된다. 사용자 디바이스는 제품을 쇼핑 장바구니에 추가하기 위해 외부 프론트 엔드 시스템(103)으로 이러한 요청을 전송할 수 있다.
외부 프론트 엔드 시스템(103)은 장바구니 페이지(예를 들면, 도 1d)를 생성할 수 있다. 일부 실시예에서, 장바구니 페이지는 사용자가 가상의 "쇼핑 장바구니(shopping cart)"에 추가한 제품을 나열한다. 사용자 디바이스는 SRP, SDP, 또는 다른 페이지의 아이콘을 클릭하거나, 상호 동작함으로써 장바구니 페이지를 요청할 수 있다. 일부 실시예에서, 장바구니 페이지는 사용자가 장바구니에 추가한 모든 제품 뿐 아니라 각 제품의 수량, 각 제품의 품목당 가격, 관련 수량에 기초한 각 제품의 가격, PDD에 관한 정보, 배달 방법, 배송 비용, 쇼핑 장바구니의 제품을 수정(예를 들면, 수량의 삭제 또는 수정)하기 위한 사용자 인터페이스 요소, 다른 제품의 주문 또는 제품의 정기적인 배달 설정에 대한 옵션, 할부(interest payment) 설정에 대한 옵션, 구매를 진행하기 위한 사용자 인터페이스 요소 등과 같은 장바구니의 제품에 관한 정보를 나열할 수 있다. 사용자 디바이스의 사용자는 쇼핑 장바구니에 있는 제품의 구매를 시작하기 위해 사용자 인터페이스 요소(예를 들면, "지금 구매(Buy Now)"라고 적혀있는 버튼)를 클릭하거나, 이와 상호 동작할 수 있다. 그렇게 하면, 사용자 디바이스는 구매를 시작하기 위해 이러한 요청을 외부 프론트 엔드 시스템(103)으로 전송할 수 있다.
외부 프론트 엔드 시스템(103)은 구매를 시작하는 요청을 수신하는 것에 응답하여 주문 페이지(예를 들면, 도 1e)를 생성할 수 있다. 일부 실시예에서, 주문 페이지는 쇼핑 장바구니로부터의 아이템을 재나열하고, 결제 및 배송 정보의 입력을 요청한다. 예를 들면, 주문 페이지는 쇼핑 장바구니의 아이템 구매자에 관한 정보(예를 들면, 이름, 주소, 이메일 주소, 전화번호), 수령인에 관한 정보(예를 들면, 이름, 주소, 전화번호, 배달 정보), 배송 정보(예를 들면, 배달 및/또는 픽업 속도/방법), 결제 정보(예를 들면, 신용 카드, 은행 송금, 수표, 저장된 크레딧), 현금 영수증을 요청하는 사용자 인터페이스 요소(예를 들면, 세금 목적) 등을 요청하는 섹션을 포함할 수 있다. 외부 프론트 엔드 시스템(103)은 사용자 디바이스에 주문 페이지를 전송할 수 있다.
사용자 디바이스는 주문 페이지에 정보를 입력하고 외부 프론트 엔드 시스템(103)으로 정보를 전송하는 사용자 인터페이스 요소를 클릭하거나, 상호 동작할 수 있다. 그로부터, 외부 프론트 엔드 시스템(103)은 정보를 시스템(100) 내의 다른 시스템으로 전송하여 쇼핑 장바구니의 제품으로 새로운 주문을 생성하고 처리할 수 있도록 한다.
일부 실시예에서, 외부 프론트 엔드 시스템(103)은 판매자가 주문과 관련된 정보를 전송 및 수신할 수 있도록 추가로 구성될 수 있다.
일부 실시예에서, 내부 프론트 엔드 시스템(105)은 내부 사용자(예를 들면, 시스템(100)을 소유, 운영 또는 임대하는 조직의 직원)가 시스템(100) 내의 하나 이상의 시스템과 상호작용할 수 있게 하는 컴퓨터 시스템으로서 구현될 수 있다. 예를 들면, 시스템(100)이 사용자가 아이템에 대한 주문을 할 수 있게 하는 시스템의 프레젠테이션을 가능하게 하는 실시예에서, 내부 프론트 엔드 시스템(105)은 내부 사용자가 주문에 대한 진단 및 통계 정보를 볼 수 있게 하고, 아이템 정보를 수정하며, 또는 주문에 대한 통계를 검토할 수 있게 하는 웹 서버로서 구현될 수 있다. 예를 들면, 내부 프론트 엔드 시스템(105)은 Apache HTTP 서버, Microsoft Internet Information Services(IIS), NGINX 등과 같은 소프트웨어를 실행하는 컴퓨터 또는 컴퓨터들로서 구현될 수 있다. 다른 실시예에서, 내부 프론트 엔드 시스템(105)은(도시되지 않은 다른 디바이스뿐 아니라) 시스템(100) 내에 나타낸 시스템 또는 디바이스로부터 요청을 수신 및 처리하고, 그러한 요청에 기초하여 데이터베이스 및 다른 데이터 저장 장치로부터 정보를 획득하며, 획득한 정보에 기초하여 수신된 요청에 대한 응답을 제공하도록(설계된 커스텀 웹 서버 소프트웨어를 실행)할 수 있다.
일부 실시예에서, 내부 프론트 엔드 시스템(105)은 웹 캐싱 시스템, 데이터베이스, 검색 시스템, 결제 시스템, 분석 시스템, 주문 모니터링 시스템 등 중 하나 이상을 포함할 수 있다. 일 양상에서, 내부 프론트 엔드 시스템(105)은 이들 시스템 중 하나 이상을 포함할 수 있는 반면, 다른 양상에서는 내부 프론트 엔드 시스템(105)은 이들 시스템 중 하나 이상에 연결된 인터페이스(예를 들면, 서버 대 서버, 데이터베이스 대 데이터베이스, 또는 다른 네트워크 연결)를 포함할 수 있다.
일부 실시예에서, 운송 시스템(107)은 시스템(100) 내의 시스템 또는 디바이스와 모바일 디바이스(107A-107C) 간의 통신을 가능하게 하는 컴퓨터 시스템으로서 구현될 수 있다. 일부 실시예에서, 운송 시스템(107)은 하나 이상의 모바일 디바이스(107A-107C)(예를 들면, 휴대 전화, 스마트폰, PDA 등)로부터 정보를 수신할 수 있다. 예를 들면, 일부 실시예에서, 모바일 디바이스(107A-107C)는 배달원에 의해 동작되는 디바이스를 포함할 수 있다. 정규직, 임시직 또는 교대 근무일 수 있는 배달원은 사용자에 의해 주문된 제품들이 들어있는 패키지의 배달을 위해 모바일 디바이스(107A-107C)를 이용할 수 있다. 예를 들면, 패키지를 배달하기 위해, 배달원은 배달할 패키지와 배달할 위치를 나타내는 모바일 디바이스 상의 알림을 수신할 수 있다. 배달 장소에 도착하면, 배달원은(예를 들면, 트럭의 뒤나 패키지의 크레이트에) 패키지를 둘 수 있고, 모바일 디바이스를 사용하여 패키지 상의 식별자와 관련된 데이터(예를 들면, 바코드, 이미지, 텍스트 문자열, RFID 태그 등)를 스캔하거나 캡처하며,(예를 들면, 현관문에 놓거나, 경비원에게 맡기거나, 수령인에게 전달하는 것 등에 의해) 패키지를 배달할 수 있다. 일부 실시예에서, 배달원은 모바일 디바이스를 사용하여 패키지의 사진(들)을 찍거나 및/또는 서명을 받을 수 있다. 모바일 디바이스는, 예를 들면, 시간, 날짜, GPS 위치, 사진(들), 배달원에 관련된 식별자, 모바일 디바이스에 관련된 식별자 등을 포함하는 배달에 관한 정보를 포함하는 정보를 운송 시스템(107)에 전송할 수 있다. 운송 시스템(107)은 시스템(100) 내의 다른 시스템에 의한 접근을 위해 데이터베이스(미도시)에 이러한 정보를 저장할 수 있다. 일부 실시예에서, 운송 시스템(107)은 다른 시스템에 특정 패키지의 위치를 나타내는 트래킹 데이터를 준비 및 전송하기 위해 이러한 정보를 사용할 수 있다.
일부 실시예에서, 특정 사용자는, 한 종류의 모바일 디바이스를 사용할 수 있는 반면(예를 들면, 정규 직원은 바코드 스캐너, 스타일러스 및 다른 장치와 같은 커스텀 하드웨어를 갖는 전문 PDA를 사용할 수 있음), 다른 사용자는 다른 종류의 모바일 디바이스를 사용할 수 있다(예를 들면, 임시 또는 교대 근무 직원이 기성 휴대 전화 및/또는 스마트폰을 사용할 수 있음).
일부 실시예에서, 운송 시스템(107)은 사용자를 각각의 디바이스와 연관시킬 수 있다. 예를 들면, 운송 시스템(107)은 사용자(예를 들면, 사용자 식별자, 직원 식별자, 또는 전화번호에 의해 표현됨)와 모바일 디바이스(예를 들면, International Mobile Equipment Identity(IMEI), International Mobile Subscription Identifier(IMSI), 전화번호, Universal Unique Identifier(UUID), 또는 Globally Unique Identifier(GUID)에 의해 표현됨) 간의 연관성(association)을 저장할 수 있다. 운송 시스템(107)은, 다른 것들 중에 작업자의 위치, 작업자의 효율성, 또는 작업자의 속도를 결정하기 위해 데이터베이스에 저장된 데이터를 분석하기 위해 배달시 수신되는 데이터와 관련하여 이러한 연관성을 사용할 수 있다.
일부 실시예에서, 판매자 포털(109)은 판매자 또는 다른 외부 엔터티(entity)가 시스템(100) 내의 하나 이상의 시스템과 전자 통신할 수 있게 하는 컴퓨터 시스템으로서 구현될 수 있다. 예를 들면, 판매자는 판매자 포털(109)을 사용하여 시스템(100)을 통해 판매하고자 하는 제품에 대하여, 제품 정보, 주문 정보, 연락처 정보 등을 업로드하거나 제공하는 컴퓨터 시스템(미도시)을 이용할 수 있다.
일부 실시예에서, 배송 및 주문 트래킹 시스템(111)은 고객(예를 들면, 디바이스(102A-102B)를 사용하는 사용자)에 의해 주문된 제품들이 들어 있는 패키지의 위치에 관한 정보를 수신, 저장 및 포워딩하는 컴퓨터 시스템으로서 구현될 수 있다. 일부 실시예에서, 배송 및 주문 트래킹 시스템(111)은 고객에 의해 주문된 제품들이 들어 있는 패키지를 배달하는 배송 회사에 의해 운영되는 웹 서버(미도시)로부터 정보를 요청하거나 저장할 수 있다.
일부 실시예에서, 배송 및 주문 트래킹 시스템(111)은 시스템(100)에 나타낸 시스템들로부터 정보를 요청하고 저장할 수 있다. 예를 들면, 배송 및 주문 트래킹 시스템(111)은 운송 시스템(107)으로부터 정보를 요청할 수 있다. 전술한 바와 같이, 운송 시스템(107)은 사용자(예를 들면, 배달원) 또는 차량(예를 들면, 배달 트럭) 중 하나 이상과 연관된 하나 이상의 모바일 디바이스(107A-107C)(예를 들면, 휴대 전화, 스마트폰, PDA 등)로부터 정보를 수신할 수 있다. 일부 실시예에서, 배송 및 주문 트래킹 시스템(111)은 또한, 풀필먼트 센터(예를 들면, 풀필먼트 센터(200)) 내부의 개별 제품의 위치를 결정하기 위해 창고 관리 시스템(WMS)으로부터 정보를 요청할 수 있다. 배송 및 주문 트래킹 시스템(111)은 운송 시스템(107) 또는 WMS(119) 중 하나 이상으로부터 데이터를 요청하고, 이를 처리하며, 요청시 디바이스(예를 들면, 사용자 디바이스(102A, 102B))로 제공할 수 있다.
일부 실시예에서, 풀필먼트 최적화(FO) 시스템(113)은 다른 시스템(예를 들면, 외부 프론트 엔드 시스템(103) 및/또는 배송 및 주문 트래킹 시스템(111))으로부터의 고객 주문에 대한 정보를 저장하는 컴퓨터 시스템으로서 구현될 수 있다. FO 시스템(113)은 또한, 특정 아이템이 유지 또는 저장되는 곳을 나타내는 정보를 저장할 수 있다. 예를 들면, 소정 아이템은 하나의 풀필먼트 센터에만 저장될 수 있는 반면, 소정 다른 아이템은 다수의 풀필먼트 센터에 저장될 수 있다. 또 다른 실시예에서, 특정 풀필먼트 센터는 아이템의 특정 세트(예를 들면, 신선한 농산물 또는 냉동 제품)만을 저장하도록 구성될 수 있다. FO 시스템(113)은 이러한 정보뿐 아니라 관련 정보(예를 들면, 수량, 크기, 수령 날짜, 유통 기한 등)를 저장한다.
FO 시스템(113)은 또한, 각 제품에 대해 대응하는 PDD(약속된 배달 날짜)를 계산할 수 있다. 일부 실시예에서, PDD는 하나 이상의 요소에 기초할 수 있다. 예를 들면, FO 시스템(113)은 제품에 대한 과거 수요(예를 들면, 그 제품이 일정 기간 동안 얼마나 주문되었는지), 제품에 대한 예상 수요(예를 들면, 얼마나 많은 고객이 다가오는 기간 동안 제품을 주문할 것으로 예상되는지), 일정 기간 동안 얼마나 많은 제품이 주문되었는지를 나타내는 네트워크 전반의 과거 수요, 다가오는 기간 동안 얼마나 많은 제품이 주문될 것으로 예상되는지를 나타내는 네트워크 전반의 예상 수요, 각각의 제품을 저장하는 각 풀필먼트 센터(200)에 저장된 제품의 하나 이상의 갯수, 그 제품에 대한 예상 또는 현재 주문 등에 기초하여 제품에 대한 PDD를 계산할 수 있다.
일부 실시예에서, FO 시스템(113)은 주기적으로(예를 들면, 시간별로) 각 제품에 대한 PDD를 결정하고, 검색하거나 다른 시스템(예를 들면, 외부 프론트 엔드 시스템(103), SAT 시스템(101), 배송 및 주문 트래킹 시스템(111))으로 전송하기 위해 이를 데이터베이스에 저장할 수 있다. 다른 실시예에서, FO 시스템(113)은 하나 이상의 시스템(예를 들면, 외부 프론트 엔드 시스템(103), SAT 시스템(101), 배송 및 주문 트래킹 시스템(111))으로부터 전자 요청을 수신하고 요구에 따라 PDD를 계산할 수 있다.
일부 실시예에서, 풀필먼트 메시징 게이트웨이(FMG)(115)는 FO 시스템(113)과 같은 시스템(100) 내의 하나 이상의 시스템으로부터 하나의 포맷 또는 프로토콜로 요청 또는 응답을 수신하고, 그것을 다른 포맷 또는 프로토콜로 변환하여, 변환된 포맷 또는 프로토콜로 된 요청 또는 응답을 WMS(119) 또는 제3자 풀필먼트 시스템(121A, 121B, 또는 121C)과 같은 다른 시스템에 포워딩하며, 반대의 경우도 가능한 컴퓨터 시스템으로서 구현될 수 있다.
일부 실시예에서, 공급 체인 관리(SCM) 시스템(117)은 예측 기능을 수행하는 컴퓨터 시스템으로서 구현될 수 있다. 예를 들면, SCM 시스템(117)은, 예를 들어 제품에 대한 과거 수요, 제품에 대한 예상 수요, 네트워크 전반의 과거 수요, 네트워크 전반의 예상 수요, 각각의 풀필먼트 센터(200)에 저장된 제품의 개수, 각 제품에 대한 예상 또는 현재 주문 등에 기초하여, 특정 제품에 대한 수요의 수준을 예측할 수 있다. 이러한 예측된 수준과 모든 풀필먼트 센터를 통한 각 제품의 수량에 응답하여, SCM 시스템(117)은 특정 제품에 대한 예측된 수요를 만족시키기에 충분한 양을 구매 및 비축하기 위한 하나 이상의 구매 주문을 생성할 수 있다.
일부 실시예에서, 창고 관리 시스템(WMS)(119)은 작업 흐름을 모니터링하는 컴퓨터 시스템으로서 구현될 수 있다. 예를 들면, WMS(119)는 개개의 디바이스(예를 들면, 디바이스(107A-107C 또는 119A-119C))로부터 개별 이벤트를 나타내는 이벤트 데이터를 수신할 수 있다. 예를 들면, WMS(119)는 패키지를 스캔하기 위해 이들 디바이스 중 하나를 사용한 것을 나타내는 이벤트 데이터를 수신할 수 있다. 풀필먼트 센터(200) 및 도 2에 관하여 이하에서 논의되는 바와 같이, 풀필먼트 프로세스 동안, 패키지 식별자(예를 들면, 바코드 또는 RFID 태그 데이터)는 특정 스테이지의 기계(예를 들면, 자동 또는 핸드헬드 바코드 스캐너, RFID 판독기, 고속 카메라, 태블릿(119A), 모바일 디바이스/PDA(119B), 컴퓨터(119C)와 같은 디바이스 등)에 의해 스캔되거나 판독될 수 있다. WMS(119)는 패키지 식별자, 시간, 날짜, 위치, 사용자 식별자, 또는 다른 정보와 함께 대응하는 데이터베이스(미도시)에 패키지 식별자의 스캔 또는 판독을 나타내는 각 이벤트를 저장할 수 있고, 이러한 정보를 다른 시스템(예를 들면, 배송 및 주문 트래킹 시스템(111))에 제공할 수 있다.
일부 실시예에서, WMS(119)는 하나 이상의 디바이스(예를 들면, 디바이스(107A-107C 또는 119A-119C))와 시스템(100)과 연관된 하나 이상의 사용자를 연관시키는 정보를 저장할 수 있다. 예를 들면, 일부 상황에서,(파트 타임 또는 풀 타임 직원과 같은) 사용자는 모바일 디바이스(예를 들면, 모바일 디바이스는 스마트폰임)를 소유한다는 점에서, 모바일 디바이스와 연관될 수 있다. 다른 상황에서, 사용자는 임시로 모바일 디바이스를 보관한다는 점에서(예를 들면, 하루의 시작에서부터 모바일 디바이스를 대여받은 사용자가 하루 동안 그것을 사용할 것이고, 하루가 끝날 때 그것을 반납할 것임), 모바일 디바이스와 연관될 수 있다.
일부 실시예에서, WMS(119)는 시스템(100)과 연관된 각각의 사용자에 대한 작업 로그를 유지할 수 있다. 예를 들면, WMS(119)는 임의의 할당된 프로세스(예를 들면, 트럭에서 내리기, 픽업 구역에서 아이템을 픽업하기, 리빈 월 작업, 아이템 패킹하기), 사용자 식별자, 위치(예를 들면, 풀필먼트 센터(200)의 바닥 또는 구역), 직원에 의해 시스템을 통해 이동된 유닛의 수(예를 들면, 픽업된 아이템의 수, 패킹된 아이템의 수), 디바이스(예를 들면, 디바이스(119A-119C))와 관련된 식별자 등을 포함하는, 각 직원과 관련된 정보를 저장할 수 있다. 일부 실시예에서, WMS(119)는 디바이스(119A-119C)에서 작동되는 계시(timekeeping) 시스템과 같은 계시 시스템으로부터 체크-인 및 체크-아웃 정보를 수신할 수 있다.
일부 실시예에서, 제3자 풀필먼트(3PL) 시스템(121A-121C)은 물류 및 제품의 제3자 제공자와 관련된 컴퓨터 시스템을 나타낸다. 예를 들면,(도 2와 관련하여 이하에서 후술하는 바와 같이) 일부 제품이 풀필먼트 센터(200)에 저장되는 반면, 다른 제품은 오프-사이트(off-site)에 저장될 수 있거나, 수요에 따라 생산될 수 있으며, 달리 풀필먼트 센터(200)에 저장될 수 없다. 3PL 시스템(121A-121C)은 FO 시스템(113)으로부터(예를 들면, FMG(115)를 통해) 주문을 수신하도록 구성될 수 있으며, 고객에게 직접 제품 및/또는 서비스(예를 들면, 배달 또는 설치)를 제공할 수 있다. 일부 구현예에서, 하나 이상의 3PL 시스템(121A-121C)은 시스템(100)의 일부일 수 있지만, 다른 구현예에서는, 하나 이상의 3PL 시스템(121A-121C)이 시스템(100)의 외부에 있을 수 있다(예를 들어, 제3자 제공자에 의해 소유 또는 운영됨).
일부 실시예에서, 풀필먼트 센터 인증 시스템(FC Auth)(123)은 다양한 기능을 갖는 컴퓨터 시스템으로서 구현될 수 있다. 예를 들면, 일부 실시예에서, FC Auth(123)는 시스템(100) 내의 하나 이상의 다른 시스템에 대한 단일-사인 온(single-sign on, SSO) 서비스로서 작동할 수 있다. 예를 들면, FC Auth(123)는 내부 프론트 엔드 시스템(105)을 통해 사용자가 로그인하게 하고, 사용자가 배송 및 주문 트래킹 시스템(111)에서 리소스에 액세스하기 위해 유사한 권한을 갖고 있다고 결정하며, 두 번째 로그인 프로세스 요구 없이 사용자가 그러한 권한에 액세스할 수 있게 한다. 다른 실시예에서, FC Auth(123)는 사용자(예를 들면, 직원)가 자신을 특정 작업과 연관시킬 수 있게 한다. 예를 들면, 일부 직원은(디바이스(119A-119C)와 같은) 전자 디바이스를 갖지 않을 수 있으며, 대신 하루 동안 풀필먼트 센터(200) 내에서 작업들 사이 및 구역들 사이에서 이동할 수 있다. FC Auth(123)는 이러한 직원들이 상이한 시간 대에 수행 중인 작업과 속해 있는 구역을 표시할 수 있도록 구성될 수 있다.
일부 실시예에서, 노동 관리 시스템(LMS)(125)은 직원(풀-타임 및 파트-타임 직원을 포함함)에 대한 출근 및 초과 근무 정보를 저장하는 컴퓨터 시스템으로서 구현될 수 있다. 예를 들면, LMS(125)는 FC Auth(123), WMS (119), 디바이스(119A-119C), 운송 시스템(107), 및/또는 디바이스(107A-107C)로부터 정보를 수신할 수 있다.
도 1a에 나타낸 특정 구성은 단지 예시일 뿐이다. 예를 들면, 도 1a는 FO 시스템(113)에 연결된 FC Auth 시스템(123)을 나타낸 반면, 모든 실시예가 이러한 특정 구성을 필요로 하는 것은 아니다. 실제로, 일부 실시예에서, 시스템(100) 내의 시스템은 인터넷, 인트라넷, WAN(Wide-Area Network), MAN(Metropolitan-Area Network), IEEE 802.11a/b/g/n 표준을 따르는 무선 네트워크, 임대 회선 등을 포함하는 하나 이상의 공공 또는 사설 네트워크를 통해 서로 연결될 수 있다. 일부 실시예에서, 시스템(100) 내의 시스템 중 하나 이상은 데이터 센터, 서버 팜 등에서 구현되는 하나 이상의 가상 서버로서 구현될 수 있다.
도 2는 풀필먼트 센터(200)를 나타낸다. 풀필먼트 센터(200)는 주문시 고객에게 배송하기 위한 아이템을 저장하는 물리적 장소의 예시이다. 풀필먼트 센터(FC)(200)는 다수의 구역으로 분할될 수 있으며, 각각이 도 2에 도시된다. 일부 실시예에서, 이러한 "구역(zones)"은 아이템을 수령하고, 아이템을 저장하고, 아이템을 검색하고, 아이템을 배송하는 과정의 상이한 단계 사이의 가상 구분으로 생각될 수 있다. 따라서, "구역"이 도 2에 나타나 있으나, 일부 실시예에서, 구역의 다른 구분도 가능하고, 도 2의 구역은 생략, 복제, 또는 수정될 수 있다.
인바운드 구역(203)은 도 1a의 시스템(100)을 사용하여 제품을 판매하고자 하는 판매자로부터 아이템이 수신되는 FC(200)의 영역을 나타낸다. 예를 들면, 판매자는 트럭(201)을 사용하여 아이템(202A, 202B)을 배달할 수 있다. 아이템(202A)은 자신의 배송 팔레트(pallet)를 점유하기에 충분히 큰 단일 아이템을 나타낼 수 있으며, 아이템(202B)은 공간을 절약하기 위해 동일한 팔레트 상에 함께 적층되는 아이템의 세트를 나타낼 수 있다.
작업자는 인바운드 구역(203)의 아이템을 수령하고, 선택적으로 컴퓨터 시스템(미도시)을 사용하여 아이템이 손상되었는지 및 정확한지를 체크할 수 있다. 예를 들면, 작업자는 아이템(202A, 202B)의 수량을 아이템의 주문 수량과 비교하기 위해 컴퓨터 시스템을 사용할 수 있다. 수량이 일치하지 않는다면, 해당 작업자는 아이템(202A, 202B) 중 하나 이상을 거부할 수 있다. 수량이 일치한다면, 작업자는 그 아이템들을(예를 들면, 짐수레(dolly), 핸드트럭(handtruck), 포크리프트(forklift), 또는 수작업으로) 버퍼 구역(205)으로 운반할 수 있다. 버퍼 구역(205)은, 예를 들면, 예상 수요를 충족시키기 위해 픽업 구역에 그 아이템이 충분한 수량만큼 있기 때문에, 픽업 구역에서 현재 필요하지 않은 아이템에 대한 임시 저장 영역일 수 있다. 일부 실시예에서, 포크리프트(206)는 버퍼 구역(205) 주위와 인바운드 구역(203) 및 드롭 구역(207) 사이에서 아이템을 운반하도록 작동한다.(예를 들면, 예상 수요로 인해) 픽업 구역에 아이템(202A, 202B)이 필요하면, 포크리프트는 아이템(202A, 202B)을 드롭 구역(207)으로 운반할 수 있다.
드롭 구역(207)은 픽업 구역(209)으로 운반되기 전에 아이템을 저장하는 FC(200)의 영역일 수 있다. 픽업 동작에 할당된 작업자("피커(picker)")는 픽업 구역의 아이템(202A, 202B)에 접근하고, 픽업 구역에 대한 바코드를 스캔하며, 모바일 디바이스(예를 들면, 디바이스(119B))를 사용하여 아이템(202A, 202B)과 관련된 바코드를 스캔할 수 있다. 그 다음 피커는 (예를 들면, 카트에 놓거나 운반함으로써) 픽업 구역(209)에 아이템을 가져갈 수 있다.
픽업 구역(209)은 아이템(208)이 저장 유닛(210)에 저장되는 FC(200)의 영역일 수 있다. 일부 실시예에서, 저장 유닛(210)은 물리적 선반, 책꽂이, 박스, 토트(tote), 냉장고, 냉동고, 저온 저장고 등 중 하나 이상을 포함할 수 있다. 일부 실시예에서, 픽업 구역(209)은 다수의 플로어로 편성될 수 있다. 일부 실시예에서, 작업자 또는 기계는, 예를 들면, 포크리프트, 엘리베이터, 컨베이어 벨트, 카트, 핸드트럭, 짐수레, 자동화된 로봇 또는 디바이스, 또는 수작업을 포함하는 다양한 방식으로 아이템을 픽업 구역(209)으로 운반할 수 있다. 예를 들면, 피커는 아이템(202A, 202B)을 드롭 구역(207)의 핸드트럭 또는 카트에 놓을 수 있으며, 아이템(202A, 202B)을 픽업 구역(209)으로 가져갈 수 있다.
피커는 저장 유닛(210) 상의 특정 공간과 같은 픽업 구역(209)의 특정 스팟에 아이템을 배치(또는 "적재(stow)")하라는 명령을 수신할 수 있다. 예를 들면, 피커는 모바일 디바이스(예를 들면, 디바이스(119B))를 사용하여 아이템(202A)을 스캔할 수 있다. 디바이스는, 예를 들면, 통로, 선반 및 위치를 나타내는 시스템을 사용하여, 아이템(202A)을 적재해야 하는 위치를 나타낼 수 있다. 그 다음 디바이스는 그 위치에 아이템(202A)을 적재하기 전에 피커가 그 위치에서 바코드를 스캔하도록 할 수 있다. 디바이스는 도 1a의 WMS(119)와 같은 컴퓨터 시스템에 아이템(202A)이 디바이스(119B)를 사용하는 사용자에 의해 그 위치에 적재되었음을 나타내는 데이터를(예를 들면, 무선 네트워크를 통해) 전송할 수 있다.
일단 사용자가 주문을 하면, 피커는 저장 유닛(210)으로부터 하나 이상의 아이템(208)을 검색하기 위해 디바이스(119B)에 명령을 수신할 수 있다. 피커는 아이템(208)을 검색하고, 아이템(208) 상의 바코드를 스캔하며, 운송 기구(214) 상에 놓을 수 있다. 일부 실시예에서, 운송 기구(214)가 슬라이드로서 표현되지만, 운송 기구는 컨베이어 벨트, 엘리베이터, 카트, 포크리프트, 핸드트럭, 짐수레, 카트 등 중 하나 이상으로서 구현될 수 있다. 그 다음 아이템(208)은 패킹 구역(211)에 도착할 수 있다.
패킹 구역(211)은 아이템이 픽업 구역(209)으로부터 수령되고 고객에게 최종 배송하기 위해 박스 또는 가방에 패킹되는 FC(200)의 영역일 수 있다. 패킹 구역(211)에서, 아이템을 수령하도록 할당된 작업자("리비닝 작업자(rebin worker)")는 픽업 구역(209)으로부터 아이템(208)을 수령하고, 그것이 어느 주문에 대응하는 지를 결정할 것이다. 예를 들면, 리비닝 작업자는 아이템(208) 상의 바코드를 스캔하기 위해 컴퓨터(119C)와 같은 디바이스를 사용할 수 있다. 컴퓨터(119C)는 아이템(208)이 어느 주문과 관련이 있는지를 시각적으로 나타낼 수 있다. 이는, 예를 들면, 주문에 대응하는 월(216) 상의 공간 또는 "셀(cell)"을 포함할 수 있다.(예를 들면, 셀에 주문의 모든 아이템이 포함되어 있기 때문에) 일단 주문이 완료되면, 리비닝 작업자는 패킹 작업자(또는 "패커(packer)")에게 주문이 완료된 것을 알릴 수 있다. 패커는 셀로부터 아이템을 검색하고, 배송을 위해 이들을 박스 또는 가방에 놓을 수 있다. 그 다음 패커는, 예를 들면, 포크리프트, 카트, 짐수레, 핸드트럭, 컨베이어 벨트, 수작업 또는 다른 방법을 통해, 박스 또는 가방을 허브 구역(213)으로 보낼 수 있다.
허브 구역(213)은 패킹 구역(211)으로부터 모든 박스 또는 가방("패키지(packages)")을 수신하는 FC(200)의 영역일 수 있다. 허브 구역(213)의 작업자 및/또는 기계는 패키지(218)를 검색하고, 각 패키지가 배달 영역의 어느 부분으로 배달되도록 되어 있는지를 결정하며, 패키지를 적합한 캠프 구역(215)으로 보낼 수 있다. 예를 들면, 배달 영역이 2개의 작은 하위 영역을 갖는다면, 패키지는 2개의 캠프 구역(215) 중 하나로 보내질 것이다. 일부 실시예에서, 작업자 또는 기계는 최종 목적지를 결정하기 위해(예를 들면, 디바이스(119A-119C) 중 하나를 사용하여) 패키지를 스캔할 수 있다. 패키지를 캠프 구역(215)으로 보내는 것은, 예를 들면,(우편 번호에 기초하여) 패키지가 향하는 지리적 영역의 부분을 결정하고, 지리적 영역의 부분과 관련된 캠프 구역(215)을 결정하는 것을 포함할 수 있다.
일부 실시예에서, 캠프 구역(215)은 루트 및/또는 서브-루트로 분류하기 위해 허브 구역(213)으로부터 패키지가 수령되는 하나 이상의 빌딩, 하나 이상의 물리적 공간, 또는 하나 이상의 영역을 포함할 수 있다. 일부 실시예에서, 캠프 구역(215)은 FC(200)로부터 물리적으로 분리되어 있는 반면, 다른 실시예에서는 캠프 구역(215)은 FC(200)의 일부를 형성할 수 있다.
캠프 구역(215)의 작업자 및/또는 기계는, 예를 들면, 목적지와 기존 루트 및/또는 서브-루트의 비교, 각각의 루트 및/또는 서브-루트에 대한 작업량의 계산, 하루 중 시간, 배송 방법, 패키지(220)를 배송하기 위한 비용, 패키지(220)의 아이템과 관련된 PDD 등에 기초하여 패키지(220)가 어느 루트 및/또는 서브-루트와 연관되어야 하는지를 결정할 수 있다. 일부 실시예에서, 작업자 또는 기계는 최종 목적지를 결정하기 위해(예를 들면, 디바이스(119A-119C) 중 하나를 사용하여) 패키지를 스캔할 수 있다. 일단 패키지(220)가 특정 루트 및/또는 서브-루트에 할당되면, 작업자 및/또는 기계는 배송될 패키지(220)를 운반할 수 있다. 예시적인 도 2에서, 캠프 구역(215)은 트럭(222), 자동차(226), 배달원(224A, 224B)을 포함한다. 일부 실시예에서, 배달원(224A)이 트럭(222)을 운전할 수 있는데, 이 때 배달원(224A)은 FC(200)에 대한 패키지를 배달하는 풀-타임 직원이며, 트럭은 FC(200)를 소유, 임대 또는 운영하는 동일한 회사에 의해 소유, 임대, 또는 운행된다. 일부 실시예에서, 배달원(224B)이 자동차(226)를 운전할 수 있는데, 이 때 배달원(224B)은 필요에 따라(예를 들면, 계절에 따라) 배달하는 "플렉스(flex)" 또는 비상시적인 작업자이다. 자동차(226)는 배달원(224B)에 의해 소유, 임대 또는 운행될 수 있다.
도 3은 개시된 실시 예들에 따른, 실험 테스트 중 최적의 스탑 포인트를 예측하기 위한 예시적인 시스템(300)을 예시하는 블록도이다. 시스템(300)은 시스템(100)에서 수행되는 활성 A / B 테스트 또는 실험 설계 테스트 동안 최적의 스탑 포인트를 결정하도록 구성된 하나 이상의 프로세서(302)(본 명세서에서 프로세서(302)로 지칭 됨)를 포함할 수 있다. 활성 A / B 테스트 또는 실험 설계 테스트는 고객이 웹 페이지 또는 모바일 애플리케이션과 상호 작용할 수 있는 외부 프론트 엔드 시스템(103)에서 수행될 수 있다. 활성 A / B 테스트 또는 실험 설계 테스트에 관한 데이터는 서버(304)에 기록될 수 있다. 서버(304)는 내부 프론트 엔드 시스템(105)으로부터 데이터를 획득할 수 있다. 데이터에는 MDE 데이터, P-값, 표본 크기, 추가적인 분산 분석(ANOVA) 데이터 및 MDE 경향 데이터가 포함될 수 있다. 예를 들어, MDE 데이터는 기본 웹 페이지의 변경에 대해 감지하려는 상대적 최소 개선을 나타낼 수 있다. P-값은 P-값이 증거의 통계적 유의성 개념을 정량화할 수 있다는 귀무 가설(즉, 반대 주장이 불가능한 경우 주장이 유효하다는 가정)을 지지하거나 거부하는 증거를 나타낼 수 있다. 샘플 크기는 통계 샘플에 포함할 관찰들(즉, 웹 사이트의 특정 기능을 좋아하는 고객들)의 수를 나타낼 수 있다. ANOVA 데이터는 표본에서 그룹 평균 간의 차이를 분석하는 데 사용되는 통계 모델 및 통계 모델 관련 추정 절차의 모음을 나타낼 수 있다. MDE 경향 데이터는, 일부 실시 예에서, 현재까지 관찰된 MDE 데이터와 주문 이행 회사가 활성 A / B 테스트 또는 실험 설계 테스트에 투자하기를 원하는 최대 날짜까지 미래의 예측된 MDE 데이터를 모두 포함할 수 있다. 총 테스트 시간은 주문 이행 회사가 활성 A / B 테스트 또는 실험 설계 테스트에 투자하기를 원하는 최대 날짜까지의 미래일 수 있다. 최적의 스탑 포인트 시점은 총 테스트 시간보다 짧다. 프로세서(302)는 총 테스트 시간이 만료되기 전에 활성 A / B 테스트 또는 실험 설계 테스트를 완료하기 위해 최적의 스탑 포인트를 서버(304)에 전달할 수 있다. 프로세서(302)는 데이터베이스(306)에 MDE 경향 데이터, 총 테스트 시간 및 최적의 스탑 포인트 시점을 저장할 수 있다.
도 4는 개시된 실시 예들에 따른, 최소 검출 가능 효과 경향 데이터 곡선 및 평균 최소 검출 가능 효과 변화를 예시하는 예시적인 차트를 도시한다. 도 4는 시스템(300)이 최적의 스탑 포인트 시점을 결정하기 위해 프로세서(302) 및 데이터베이스(306)로 검색하고 생성할 수 있는 데이터의 대표적인 예시이다. 수평축(402)은 시간을 나타내고, 수직축(404)은 MDE 경향 데이터를 나타낼 수 있다. 프로세서(302)는 서버(304)로부터 MDE 경향 데이터를 검색할 수 있다. MDE 경향 데이터에는 활성 A / B 테스트 또는 실험 설계 테스트가 실행될 것으로 예상되는 총 테스트 시간 동안의 예측된 MDE 데이터가 포함될 수 있다. 총 테스트 시간 동안의 예측된 MDE 데이터는 이전에 완료된 A / B 테스트 또는 실험 설계 테스트의 보간 및/또는 외삽 기술 및 지식과 현재 테스트에서 관찰된 MDE 데이터를 기반으로 생성될 수 있다. MDE 경향 데이터는 활성 A / B 테스트 또는 실험 설계 테스트가 실행될 것으로 예상되는 총 테스트 시간에 걸쳐 MDE 경향 데이터 곡선(406)으로 예시될 수 있다. MDE 경향 데이터 곡선(406)은 제1 데이터 포인트(408(1)) 및 최종 데이터 포인트(410(N))를 가질 수 있다. MDE 경향 데이터 곡선(406)의 제1 데이터 포인트(408(1))는 T1에서 초기 시간(412) 및 MDE0에서 이에 대응하는 초기 MDE(414)를 가질 수 있다. 또한, 최종 데이터 포인트(410(N))는 TT에서 최종 시간(416) 및 MDEf에서 이에 대응하는 최종 MDE(418)를 가질 수 있다. TT에서의 최종 시간(416)은 총 테스트 시간일 수 있다. 프로세서(302)는 제1 데이터 포인트(408(1)) 및 최종 데이터 포인트(410(N))에 기초한 2에서 i까지로서 N-1까지의 MDE 경향 데이터에 기초하여 MDE 경향 데이터 포인트(420)를 생성할 수 있다. 프로세서(302)는 또한 최종 데이터 포인트(410(N))까지 1에서 i까지의 MDE 경향 데이터 자체를 이용할 수 있다. N은 MDE 경향 데이터 포인트의 총 개수 또는 프로세서(302)가 MDE 경향 데이터 곡선(406)을 생성하는데 사용하는 MDE 경향 데이터에서의 총 포인트 수일 수 있다. 예를 들어, 순간 최소 검출 가능 효과 변화(δ(i), 본 명세서에서는 IMDEC(Instantaneous Minimum Detectable Effect Change) 라고 한다.)는 모든 IMDEC가 복수 개의 IMDEC 인 402의 각 MDE 경향 데이터 포인트 i에 대해 프로세서에 의해 결정될 수 있다. IMDEC는 MDE 경향 데이터를 기반으로 한 순간 기울기이거나 MDE 경향 데이터의 극소 변화일 수 있다. 아래의 도 6은 IMDEC를 결정하는 예시적인 프로세스를 제공한다. 또한, 시간 Ti(424)는 최적의 스탑 포인트를 나타낼 수 있다. 또한, 누적 최소 검출 가능 효과 변화(본 명세서에서는 CMDEC(Cumulative Minimum Detectable Effect Change)라고 한다.)는 프로세서(302)에 의해 420의 각 MDE 경향 데이터 포인트 i에 대해 복수 개의 IMDEC를 집계하는 것에 기초하여 결정될 수 있다. 따라서, 복수 개의 IMDEC가 제1 데이터 포인트(408(1)) 내지 i에서 평가된 경우, i에 대한 CMDEC는 제1 데이터 포인트(408(1))에서 i까지의 복수 개의 IMDEC의 합일 수 있다. 아래의 도 7은 IMDEC를 결정하는 예시적인 프로세스를 제공한다. 또한, 평균 최소 검출 가능 효과 변화(본 명세서에서는 AMDEC(Average Minimum Detectable Effect Change)라고 한다.)(426)는 제1 데이터 포인트(408(1)) 및 최종 데이터 포인트(410(N))에 따라 프로세서(302)에 의해 결정될 수 있다. 아래의 도 5는 AMDEC를 결정하는 예시적인 프로세스를 제공한다. 프로세서(302)는 총 테스트 시간, MDE 경향 데이터, 제1 데이터 포인트(408(1)) 및 최종 데이터 포인트(410(N))를 포함할 수 있는 MDE 경향 데이터 포인트 i, 복수 개의 IMDEC, 복수 개의 CMDEC 및 AMDEC를 데이터베이스(306)에 저장할 수 있다.
도 5는 개시된 실시 예들에 따른, 최적의 스탑 포인트 시점을 결정하는 예시적인 방법(500)의 흐름도이다. 방법(500)의 단계는 프로세서(302)에 의해 수행될 수 있다. 단계 502에서, 프로세서(302)는 서버(304)로부터 총 테스트 시간을 획득하고, 이를 데이터베이스(306)에 저장할 수 있다. 총 테스트 시간은 활성 A / B 테스트 또는 실험 설계 테스트, 과거 A / B 테스트 또는 실험 설계 테스트, 또는 서버(304)의 활성 또는 과거 A / B 테스트 또는 실험 설계 테스트의 MDE 경향 데이터로부터 결정될 수 있다. 단계 504에서, 프로세서(302)는 서버(304)로부터 총 테스트 시간 동안의 MDE 경향 데이터 포인트의 총 개수(N)를 획득하고, 이를 데이터베이스(306)에 저장할 수 있다. MDE 경향 데이터 포인트의 총 개수(N)는 프로세서(302)가 최적의 스탑 포인트 시점을 결정하기 위해 이용할 수 있는 균등한 시간 간격 또는 균등하지 않은 시간 간격을 나타낼 수 있다. 시간 간격은 초, 분, 시간, 일, 주 또는 월이 될 수 있다. 단계 506에서, 프로세서(302)는 서버(304)로부터 MDE 경향 데이터를 획득하고, 데이터베이스(306)에 총 테스트 시간 동안의 MDE 경향 데이터를 저장할 수 있다. 단계 508에서, MDE 경향 데이터가 불균등한 시간 간격을 갖는 경우, 프로세서(302)는 MDE 경향 데이터 포인트 사이의 시간 간격이 균일할 수 있도록 새로운 MDE 경향 데이터 포인트를 생성하기 위해 MDE 경향 데이터를 이산화 할 수 있다. 새로운 MDE 경향 데이터 포인트는 이전 MDE 경향 데이터 또는 불균등한 시간 간격을 가질 수 있는 기존 MDE 경향 데이터 포인트를 대체할 수 있다. 새로운 MDE 경향 데이터 포인트를 생성하기 위한 이산화 프로세스는 기존 MDE 경향 데이터 포인트의 보간 또는 외삽을 기반으로 할 수 있다. 이산화 프로세스는 최적의 스탑 포인트 시점의 평가를 위해 총 테스트 시간 동안 수행될 수 있다. 새로운 MDE 경향 데이터 포인트는 프로세서(302)에 의해 데이터베이스(306)에 저장될 수 있다. MDE 경향 데이터 포인트는 새로운(이산화 된) 및/또는 기존 MDE 경향 데이터 포인트 일 수 있다.
단계 510에서, 프로세서(302)는 총 테스트 시간에 걸쳐 AMDEC를 결정할 수 있다. AMDEC는 MDE 경향 데이터 포인트로부터의 제1 데이터 포인트(408(1)) 및 최종 데이터 포인트(410(N))로부터의 기울기 일 수 있다. AMDEC는 프로세서(302)에 의해 데이터베이스(306)에 저장될 수 있다. 단계 512에서, 프로세서(302)는 MDE 누적 변화 임계 값(MDEthrs)을 결정할 수 있다. MDE 누적 변화 임계 값은 MDE 경향 데이터로부터의 초기 MDE(414)와 최종 MDE(418) 간의 차이의 백분율 일 수 있다. 초기 MDE(414)와 최종 MDE(418) 사이의 차이의 백분율은 60 ~ 90 % 범위 일 수 있다. 백분율은 웹 페이지 유형에 대한 이행 회사의 조사를 기반으로 할 수 있다. MDE 누적 변화 임계 값은 프로세서(302)에 의해 데이터베이스(306)에 저장될 수 있다. 단계 514에서, 프로세서(302)는 총 테스트 시간에 걸쳐 MDE 경향 데이터로부터의 MDE 경향 데이터 포인트에 기초하여 복수 개의 IMDEC를 결정할 수 있다. 아래의 도 6은 복수 개의 IMDEC를 결정하기 위한 예시적인 프로세스를 제공한다. 프로세서(302)는 데이터베이스(306)에 복수 개의 IMDEC를 저장할 수 있다. 복수 개의 IMDEC는 MDE 경향 데이터로부터 각각의 MDE 경향 데이터 포인트에 대한 순간 기울기일 수 있다. 복수 개의 IMDEC는 또한 MDE 경향 데이터 포인트와 다음 MDE 경향 데이터 포인트 사이의 순간적인 차이 일 수 있다. 복수 개의 IMDEC는 최종 데이터 포인트(410(N))에서 결정되지 않을 수 있다. 단계 516에서, 프로세서(302)는 총 테스트 시간에 걸쳐 MDE 경향 데이터로부터의 MDE 경향 데이터 포인트에 기초하여 복수 개의 CMDEC를 결정할 수 있다. 프로세서(302)는 데이터베이스(306)에 복수 개의 CMDEC를 저장할 수 있다. 복수 개의 CMDEC는 데이터 포인트 i까지의 각 IMDEC의 집합일 수 있다. 각 IMDEC의 집합은 데이터 포인트 i까지의 모든 데이터 포인트(복수의 IMDEC)에 대한 각 IMDEC의 축적을 포함할 수 있다. 복수 개의 CMDEC는 최종 데이터 포인트(410(N))에 대해 집계되지 않을 수 있다. 단계 518에서, 프로세서(302)는 복수 개의 IMDEC, 복수 개의 CMDEC 및 MDE 누적 변화 임계 값으로부터 최적의 스탑 포인트 시점을 결정할 수 있다. 아래의 도 8은 최적의 스탑 포인트 시점을 결정하기 위한 예시적인 프로세스를 제공한다. 최적의 스탑 포인트 시점은 프로세서(302)에 의해 데이터베이스(306)에 저장될 수 있다.
단계 520에서, 프로세서(302)는 활성 A / B 테스트 또는 실험 설계 테스트에 기초하여 서버(304)의 MDE 경향 데이터가 업데이트 되었는지 여부를 결정할 수 있다. 서버(304)는 MDE 경향 데이터가 업데이트 되었는지 여부를 나타내는 플래그를 제공할 수 있다. 프로세서(302)는 플래그 표시로부터 MDE 경향 데이터가 업데이트 되었는지를 결정할 수 있다. 프로세서(302)가 MDE 경향 데이터가 업데이트 되지 않았다고 결정하면(단계 520, No), 단계 522에서 프로세서(302)는 활성 A / B 테스트 또는 실험 설계 테스트가 최적의 스탑 포인트 시점에 완료되거나 종료될 수 있도록 최적의 스탑 포인트 시점을 서버(304)에 전송한다. 그러나, 프로세서(302)가 MDE 경향 데이터가 업데이트 되었다고 결정하면(단계 520, Yes), 프로세서(302)는 단계 506에서 단계 520을 반복한다. 업데이트 된 MDE 경향 데이터는 상술한 업데이트 된 MDE 경향 데이터이다.
도 6은 개시된 실시 예들에 따른, 복수 개의 순간 최소 검출 가능 효과 변화를 결정하는 예시적인 방법(600)의 흐름도이다. 방법(600)의 단계는 프로세서(302)에 의해 수행될 수 있다. 방법(600)의 단계는 단계(514)를 실행하는 단계를 상세히 설명하는 실시 예를 도시한다. 단계 602에서, 프로세서는 데이터베이스(306)에 저장된 MDE 경향 데이터로부터 총 테스트 시간 동안의 MDE 경향 데이터 포인트를 획득할 수 있다. 단계 604에서, 프로세서(302)는 MDE 경향 데이터 포인트로부터 i에서의 MDE(i)를 갖고 i에서의 시간 Ti를 갖는 MDE 경향 데이터 포인트 i를 선택할 수 있다. 단계 606에서, 프로세서(302)는 MDE 경향 데이터 포인트로부터 i+1에서의 MDE(i+1)을 갖고 i+1에서의 시간 Ti+1을 갖는 다음 MDE 경향 데이터 포인트 i+1을 선택할 수 있다. 단계 608에서, 프로세서(302)는 MDE 경향 데이터 포인트 i 및 다음 MDE 경향 데이터 포인트 i+1에 기초하여 시간 Ti에서의 IMDEC 또는 δ(i)를 결정할 수 있다. 단계 610에서, 프로세서(302)는 데이터베이스(306)에 시간 Ti에서의 IMDEC를 저장할 수 있다. IMDEC는 i에서의 MDE와 i+1에서의 MDE 차이일 수 있고, 또는 MDE 경향 데이터 포인트 i와 다음 MDE 경향 데이터 포인트 i+1 사이의 i에서의 순간 기울기일 수 있다.
단계 612에서, 프로세서(302)는 i+1이 MDE 경향 데이터 포인트의 총 개수(N) 보다 작은지 여부를 결정할 수 있다. 프로세서(302)는 데이터베이스(306)로부터 또는 MDE 경향 데이터 포인트로부터 MDE 경향 데이터 포인트의 총 개수(N)를 획득했을 수 있다. 프로세서(302)가 i+1이 MDE 경향 데이터 포인트의 총 개수보다 적다고 결정할 때(단계 612, Yes), 단계 614에서, 프로세서(302)는 i를 증가시킬 수 있으며 여기서 i는 1 단위 증가한다. 프로세서(302)는 조건 i+1이 MDE 경향 데이터 포인트의 총 개수(N)보다 작기 때문에 단계 604에서 단계 612를 반복할 수 있다. 그러나, 프로세서(302)가 다음 MDE 경향 데이터 포인트에 대한 i+1이 MDE 경향 데이터 포인트의 총 개수와 같다고 결정할 때(단계 612, No), 프로세서(302)는 단계 516으로 진행할 수 있다. 데이터베이스(306)의 각 시간 Ti에서의 IMDEC 또는 δ(i)는 복수 개의 IMDEC들이다.
도 7은 개시된 실시 예들에 따른, 복수 개의 누적 최소 검출 가능 변화를 결정하는 예시적인 방법(700)의 흐름도이다. 방법(700)의 단계는 프로세서(302)에 의해 수행될 수 있다. 방법(700)의 단계는 단계 516을 실행하는 단계를 상세히 설명하는 실시 예를 도시한다. 단계 702에서, 프로세서(302)는 변수 x를 0과 동일하게 설정하고 그것을 데이터베이스(306)에 저장할 수 있다. 단계 704에서, 프로세서(302)는 시간 Ti에서의 IMDEC 또는 δ(i)를 데이터베이스(306)에서 획득할 수 있다. 단계 706에서, 프로세서(302)는 데이터베이스(306)에 저장되어 있을 수 있는 시간 Ti에서의 IMDEC 또는 δ(i)에 변수 x를 추가함으로써 변수 x에 대한 새로운 값을 할당할 수 있다. 단계 708에서, 프로세서(302)는 시간 Ti에서의 CMDEC 또는 Cum.δ(i)를 변수 x와 동일하게 설정할 수 있다. 프로세서(302)는 시간 Ti에서의 CMDEC 또는 Cum.δ(i)를 데이터베이스(306)에 저장할 수 있다.
단계 710에서, 프로세서(302)는 i+1이 MDE 경향 데이터 포인트의 총 개수(N) 보다 작은지 여부를 결정할 수 있다. 프로세서(302)는 데이터베이스(306)로부터 또는 MDE 경향 데이터 포인트로부터 MDE 경향 데이터 포인트의 총 개수(N)를 획득했을 수 있다. 프로세서(302)가 i+1이 MDE 경향 데이터 포인트의 총 개수 (N) 보다 적다고 결정할 때(단계 710, Yes), 단계 712에서 프로세서(302)는 i를 증가시킬 수 있으며 여기서 i는 1 단위 증가한다. 프로세서(302)는 조건 i+1이 MDE 경향 데이터 포인트의 총 개수(N)보다 작기 때문에 단계 704에서 단계 710을 반복할 수 있다. 그러나, 프로세서(302)가 다음 MDE 경향 데이터 포인트에 대한 i+1이 MDE 경향 데이터 포인트의 총 개수(N)와 같다고 결정할 때(단계 710, No), 프로세서(302)는 단계 518로 진행할 수 있다. 데이터베이스 (306)의 각각의 시간 Ti에서의 CMDEC 또는 Cum.δ(i)는 복수 개의 CMDEC들이다.
도 8은 개시된 실시 예들에 따른, 활성 A / B 테스트 또는 실험 설계 테스트를 중지하기 위해 최적의 스탑 포인트 시점을 결정하고 서버에 제공하는 예시적인 방법(800)의 흐름도이다. 방법(800)의 단계는 프로세서(302)에 의해 수행될 수 있다. 방법(800)의 단계는 단계 518를 실행하는 단계를 상세히 설명하는 실시 예를 도시한다. 단계 802에서, 프로세서(302)는 데이터베이스(306)로부터 시간 Ti에서의 IMDEC 또는 δ(i)를 획득할 수 있다. 단계 804에서, 프로세서(302)는 데이터베이스(306)로부터 시간 Ti에서의 CMDEC 또는 Cum.δ(i)를 획득할 수 있다. 단계 806에서, 프로세서(302)는 데이터베이스(306)로부터 AMDEC를 획득할 수 있고 시간 Ti에서의 IMDEC 또는 δ(i)가 AMDEC 보다 작은지 여부를 결정할 수 있다. 프로세서(302)가 시간 Ti에서의 IMDEC 또는 δ(i)가 AMDEC 보다 작다고 결정할 때(단계 806, Yes), 단계 808에서, 프로세서(302)는 데이터베이스(306)로부터 MDE 누적 변화 임계 값을 얻을 수 있다. 단계 810에서, 프로세서(302)는 시간 Ti에서의 CMDEC 또는 Cum.δ(i) MDE 누적 변화 임계 값 보다 큰지 여부를 결정할 수 있다. 프로세서(302)가 시간 Ti에서의 CMDEC 또는 Cum.δ(i)이 MDE 누적 변화 임계 값 보다 크다고 결정할 때, 단계 812에서 프로세서(302)는 Ti로부터 최적의 스탑 포인트 시점을 얻을 수 있으며, 이는 IMDEC 또는 δ(i)가 AMDEC보다 작으며, CMDEC 또는 Cum.δ(i)는 MDE 누적 변화 임계 값보다 큰 시간과 동일한 시간에 해당할 수 있다. 단계 816에서, 프로세서(302)는 데이터베이스(306)에 최적의 스탑 포인트 시점(Ti)을 저장할 수 있고, 최적의 스탑 포인트 시점(Ti)에서 활성 A / B 테스트 또는 실험 설계 테스트의 중지, 종료 또는 완료를 위해 최적의 스탑 포인트 시점(Ti)을 서버(304)로 전송할 수 있다.
그러나, 프로세서(302)가 시간 Ti에서의 IMDEC 또는 δ(i)가 AMDEC 보다 크거나 같고(단계 806, No), 또는 시간 Ti에서의 CMDEC 또는 Cum.δ(i)가 MDE 누적 변화 임계 값 보다 작거나 같다고 결정할 때, 단계 818에서 프로세서(302)는 i+1이 MDE 경향 데이터 포인트의 총 개수(N) 보다 작은지 여부를 결정할 수 있다. 프로세서(302)는 데이터베이스(306) 또는 MDE 경향 데이터 포인트로부터 MDE 경향 데이터 포인트의 총 개수(N)를 획득했을 수 있다. 프로세서(302)가 i+1이 MDE 경향 데이터 포인트의 총 개수보다 적다고 결정하면(단계 818, Yes), 단계 820에서 프로세서(302)는 i를 증가시킬 수 있으며 여기서 i는 1 단위 증가한다. 프로세서(302)는 조건 i+1이 MDE 경향 데이터 포인트의 총 개수(N) 보다 작기 때문에 단계 802에서 단계 806 또는 단계 802에서 단계 810을 반복할 수 있다. 그러나, 프로세서(302)가 i+1이 MDE 경향 데이터 포인트의 총 개수(N)와 같다고 결정할 때(단계 818, No), 단계 822에서 프로세서(302)는 서버(304)로부터 업데이트된 MDE 경향 데이터를 기다릴 수 있다.
도 9는 개시된 실시 예에 따른, 샘플 최적 스탑 시점 결정 조건을 도시한다. 도 9는 최적의 스탑 포인트를 결정하는 데 있어서 주어진 사용 사례에 대한 다양한 조건을 설명하는 데 도움이 될 것이다. 예를 들어, 주문 이행 회사의 웹 페이지에서 A / B 테스트를 21 일 동안 실행하도록 설정할 수 있으며, 여기서 제품 판매에 대한 고객들의 반응은 웹 페이지 요소의 두 가지 변형을 통해 추적된다. 웹 페이지에서 A / B 테스트가 지난 5 일 동안 실행되고 웹 페이지의 변형에 대한 데이터가 매일 수집될 수 있는 상황을 예로 들어본다.
수평 축(902)은 일 단위로 시간을 나타낼 수 있고, 수직 축(804)은 매일 추적되는 MDE 데이터(904)를 나타낼 수 있다. 서버(304)에서 지난 5일 동안 A / B 테스트로부터 수집된 데이터에 기초하여, MDE 경향 데이터(906)는 A / B 테스트가 총 21일의 기간 동안 실행되도록 예정될 수 있다는 점을 고려하여 1일부터 21일까지 생성될 수 있다. 따라서, MDE 경향 데이터 곡선(906)은 1일씩 증가하는 총 21개의 데이터 포인트를 가질 수 있다. 프로세서(302)는 1일 및 21일의 데이터에 기초하여 AMDEC(908)를 결정할 수 있다. 또한, 프로세서(302)는 910의 조건 1에서 AMDEC(908)보다 작은 IMDEC1을 결정할 수 있다. 또한, 프로세서(302)는 910의 조건 1에서 CMDEC1이 예를 들어 1일 및 21일의 MDE 차이의 88 %-MDE 누적 변화 임계 값 미만이라고 결정할 수 있다. 따라서, 프로세서(302)는 최적의 스탑 포인트 시점을 예측하는 데 필요한 두 가지 조건(즉, IMDEC1은 AMDEC(908)보다 작아야 하고, CMDEC1은 예를 들어 1일과 21일 간의 MDE 차이의 88 %-MDE 누적 변화 임계 값 보다 큰)이 충족되지 않았기 때문에 조건 1을 최적의 스탑 포인트 시점으로 구하지 못할 수 있다. 유사하게, 912의 조건 2에서, 프로세서(302)는 CMDEC2가 예를 들어 1일 및 21일의 MDE 차이의 88 %보다 크지만 IMDEC2가 AMDEC(908)보다 크다고 결정할 수 있다. 다시 말해서, 프로세서(302)는 최적의 스탑 포인트 시점을 예측하는 데 필요한 두 가지 조건(즉, IMDEC2는 AMDEC(908)보다 작아야 하고, CMDEC2는 예를 들어, 1일과 21일 간의 MDE 차이의 88 %-MDE 누적 변화 임계 값 보다 큰)이 충족되지 않기 때문에 조건 2가 최적의 스탑 포인트 시점이라는 것을 구하지 못할 수 있다. 914의 조건 3에서, 프로세서(302)는 IMDEC3가 AMDEC(908)보다 작고, CMDEC3가 예를 들어 1일 및 21일의 MDE 차이의 88 %-MDE 누적 변화 임계 값 보다 큰 것으로 결정할 수 있다. 따라서, 프로세서(302)는 조건 3(914)에서 최적의 스탑 포인트 시점(T)을 추출하고 이를 서버(304)로 전송할 것이다. 최적의 스탑 포인트 시점(T)은 15일일 수 있다. 따라서 최적의 스탑 포인트 시점이 프로세서(302)에 의해 결정되면 15 일째의 A / B 테스트가 종료된다. 이렇게 하면 주문 이행 회사가 20일 동안 A / B 테스트를 수행하는 데 불필요한 자원을 투자하지 않을 수 있다. MDE의 감소를 감지하고 15일 이상 실행하는 것이 그만한 가치가 없는지 알 수 있는 한계 이익 측면에서 15일이면 A / B 테스트가 충분한 샘플 크기 (테스트 파워)를 제공했을 수 있다는 결정에 도달할 수 있기 때문이다.
본 개시가 특정 실시예들을 참조하여 도시되고 설명되었지만, 본 개시가 다른 환경에서 변형없이 실시될 수 있음은 자명하다. 전술한 설명은 예시를 목적으로 제공되었다. 이는 포괄적인 것이 아니며 개시된 정확한 형태 또는 실시예로 한정되지 않는다. 변형예 및 적응예는 개시된 실시예들의 발명의 설명 및 실시에 대한 고려로부터 통상의 기술자에게 명백할 것이다. 추가적으로, 개시된 실시예들의 양상들이 메모리에 저장되는 것으로 설명되었지만, 통상의 기술자는 이러한 양상들이 또한 2차적 저장 디바이스(예를 들어, 하드 디스크 또는 CD ROM, 다른 형태의 RAM 또는 ROM, USB 매체, DVD, Blu-ray 또는 기타 광 드라이브 매체)와 같은 다른 유형의 컴퓨터 판독가능 매체에 저장될 수 있는 것을 이해할 것이다.
기재된 설명 및 개시된 방법들에 기초하는 컴퓨터 프로그램은 숙련된 개발자의 기술 범위 내에 있다. 다양한 프로그램 또는 프로그램 모듈이 통상의 기술자에게 알려진 임의의 기술을 사용하여 만들어질 수 있으며, 기존 소프트웨어와 관련되어 설계될 수 있다. 예를 들어, 프로그램 섹션 또는 프로그램 모듈은 .Net Framework, .Net Compact Framework(및 Visual Basic, C 등과 같은 관련 언어), Java, C ++, Objective-C, HTML, HTML/AJAX 조합, XML 또는 Java 애플릿이 포함된 HTML으로 또는 이것들에 의하여 설계될 수 있다.
이에 더하여, 예시적 실시들이 본 명세서에 설명되었지만, 등가 요소들, 변형물, 생략물,(예를 들어, 다양한 실시예들에 걸친 양상들의) 조합물, 적응물 및/또는 대체물을 갖는 임의 및 모든 실시예의 범위가 본 개시에 기초하여 통상의 기술자에게 이해될 것이다. 청구 범위에서의 한정은 청구 범위에서 사용된 언어에 기초하여 광범위하게 해석되어야 하며, 본 명세서 또는 본 출원의 진행 중에 설명된 예시들로 제한되지 않는다. 예시들은 비배타적으로 해석되어야 한다. 이에 더하여, 개시된 방법들의 단계들은 단계들의 재정렬 및/또는 단계의 삽입 또는 삭제를 포함하는 임의의 방식으로 변형될 수 있다. 따라서, 상세한 설명과 예시들은 예시로서만 고려되어야 하고, 진정한 범위와 사상은 이하의 청구 범위 및 등가물의 전체 범위에 의해 나타내지는 것으로 의도된다.
Claims (18)
- 실험 테스트 중 최적의 스탑 포인트를 예측하기 위한 컴퓨터-구현 시스템으로서,
명령들을 저장하는 메모리; 및
단계들을 수행하도록 상기 명령들을 실행하도록 구성된 적어도 하나 이상의 프로세서를 포함하며,
상기 단계들은,
서버 상에서의 활성 실험 설계 테스트를 위한 총 테스트 시간을 획득하는 단계;
상기 서버 상에서의 상기 활성 실험 설계 테스트로부터의 상기 총 테스트 시간 동안의 최소 검출 가능 효과(MDE) 경향 데이터를 획득하는 단계;
최소 검출 가능 효과 경향 데이터 포인트와 연관된 시간의 순간 최소 검출 가능 효과 변화를 획득하는 단계;
최소 검출 가능 효과 경향 데이터 포인트와 연관된 시간의 평균 최소 검출 가능 효과 변화를 획득하는 단계;
상기 최소 검출 가능 효과 경향 데이터와 연관된 상기 총 테스트 시간 동안의 복수 개의 순간 최소 검출 가능 효과 변화를 결정하는 단계;
상기 복수 개의 순간 최소 검출 가능 효과와 연관된 복수 개의 누적 최소 검출 가능 효과 변화를 결정하는 단계;
상기 순간 최소 검출 가능 효과 변화와 상기 평균 최소 검출 가능 효과 변화의 비교에 기초하여 최적의 스탑 포인트 시점을 결정하는 단계; 및
상기 활성 실험 설계 테스트를 완료하기 위해 상기 서버에 상기 최적의 스탑 포인트 시점을 제공하는 단계를 포함하는- 상기 최적의 스탑 포인트 시점은 상기 총 테스트 시간보다 짧음-, 컴퓨터-구현 시스템. - 청구항 1에 있어서,
상기 비교에 기초하여 최적의 스탑 포인트 시점을 결정하는 단계는,
상기 순간 최소 검출 가능 효과 변화가 상기 평균 최소 검출 가능 효과 변화보다 작다고 결정하는 단계;
상기 서버로부터 MDE 누적 변화 임계 값을 획득하는 단계; 및
상기 누적 최소 검출 가능 효과 변화가 상기 MDE 누적 변화 임계 값보다 크다고 결정하는 단계를 포함하는, 컴퓨터-구현 시스템. - 청구항 1에 있어서,
상기 평균 최소 검출 가능 효과 변화는 상기 총 테스트 시간에 대한 기울기이고,
상기 최소 검출 가능 효과 누적 변화 임계 값은 상기 총 테스트 시간 동안의 상기 최소 검출 가능 효과의 차이의 백분율인, 컴퓨터-구현 시스템. - 청구항 1에 있어서,
상기 복수 개의 순간 최소 검출 가능 효과 변화는,
상기 최소 검출 가능 효과 경향 데이터의 복수 개의 순간적인 기울기인, 컴퓨터-구현 시스템. - 청구항 1에 있어서,
상기 적어도 하나 이상의 프로세서는,
상기 서버로부터 MDE 경향 데이터 포인트의 총 개수를 획득하는 단계를 더 수행하도록 구성되고,
상기 복수 개의 순간 최소 검출 가능 효과 변화는 상기 MDE 경향 데이터 포인트의 총 개수 각각에서 평가되는, 컴퓨터-구현 시스템. - 청구항 1에 있어서,
상기 복수 개의 누적 최소 검출 가능 효과 변화는 상기 복수 개의 순간 최소 검출 가능 효과 변화의 집합인, 컴퓨터-구현 시스템. - 청구항 1에 있어서,
상기 적어도 하나 이상의 프로세서는,
상기 서버로부터 MDE 경향 데이터 포인트의 총 개수를 획득하는 단계를 더 수행하도록 구성되고,
상기 복수 개의 누적 최소 검출 가능 효과 변화는 상기 MDE 경향 데이터 포인트의 총 개수 각각에서 평가되는, 컴퓨터-구현 시스템. - 청구항 1에 있어서,
상기 적어도 하나의 프로세서는,
데이터 베이스에 상기 최적의 스탑 포인트 시점을 저장하는 단계를 더 수행하도록 구성되는, 컴퓨터-구현 시스템. - 청구항 1에 있어서,
상기 적어도 하나 이상의 프로세서는,
상기 서버에서 업데이트된 최소 검출 가능 효과 경향 데이터를 검출하는 단계를 더 수행하도록 구성되고,
상기 최적의 스탑 포인트 시점은 상기 활성 실험 설계 테스트로부터 상기 업데이트된 최소 검출 가능 효과 경향 데이터에 기초하여 결정되는, 컴퓨터-구현 시스템. - 실험 테스트 중 최적의 스탑 포인트를 예측하기 위한 컴퓨터-구현 방법으로서,
서버 상에서의 활성 실험 설계 테스트를 위한 총 테스트 시간을 획득하고;
상기 서버 상에서의 상기 활성 실험 설계 테스트로부터 상기 총 테스트 시간 동안의 최소 검출 가능 효과 경향 데이터를 획득하고;
최소 검출 가능 효과 경향 데이터 포인트와 연관된 시간의 순간 최소 검출 가능 효과 변화를 획득하고;
최소 검출 가능 효과 경향 데이터 포인트와 연관된 시간의 평균 최소 검출 가능 효과 변화를 획득하고;
상기 최소 검출 가능 효과 경향 데이터와 연관된 상기 총 테스트 시간 동안의 복수 개의 순간 최소 검출 가능 효과 변화를 결정하고;
상기 복수 개의 순간 최소 검출 가능 효과와 연관된 복수 개의 누적 최소 검출 가능 효과 변화를 결정하고;
상기 순간 최소 검출 가능 효과 변화와 상기 평균 최소 검출 가능 효과 변화의 비교에 기초하여 최적의 스탑 포인트 시점을 결정하고; 그리고
상기 활성 실험 설계 테스트를 완료하기 위해 상기 서버에 상기 최적의 스탑 포인트 시점을 제공하는 것을 포함하는- 상기 최적의 스탑 포인트 시점은 상기 총 테스트 시간보다 짧음-, 컴퓨터-구현 방법. - 청구항 10에 있어서,
상기 방법은,
상기 순간 최소 검출 가능 효과 변화가 상기 평균 최소 검출 가능 효과 변화보다 작다고 결정하고;
상기 서버로부터 MDE 누적 변화 임계 값을 획득하고; 그리고
상기 누적 최소 검출 가능 효과 변화가 상기 MDE 누적 변화 임계 값보다 크다고 결정하는 것을 더 포함하는, 컴퓨터-구현 방법. - 청구항 10에 있어서,
상기 평균 최소 검출 가능 효과 변화는 상기 총 테스트 시간에 대한 기울기이고,
상기 최소 검출 가능 효과 누적 변화 임계 값은 상기 총 테스트 시간 동안의 상기 최소 검출 가능 효과의 차이의 백분율인, 컴퓨터-구현 방법. - 청구항 10에 있어서,
상기 복수 개의 순간 최소 검출 가능 효과 변화는,
상기 최소 검출 가능 효과 경향 데이터의 복수 개의 순간적인 기울기인, 컴퓨터-구현 방법. - 청구항 10에 있어서,
상기 방법은
상기 서버로부터 MDE 경향 데이터 포인트의 총 개수를 획득하는 것을 더 포함하고,
상기 복수 개의 순간 최소 검출 가능 효과 변화는 상기 MDE 경향 데이터 포인트의 총 개수 각각에서 평가되는, 컴퓨터-구현 방법. - 청구항 10에 있어서,
상기 복수 개의 누적 최소 검출 가능 효과 변화는 상기 복수 개의 순간 최소 검출 가능 효과 변화의 집합인, 컴퓨터-구현 방법. - 청구항 10에 있어서,
상기 방법은,
상기 서버로부터 MDE 경향 데이터 포인트의 총 개수를 획득하는 것을 더 포함하고,
상기 복수 개의 누적 최소 검출 가능 효과 변화는 상기 MDE 경향 데이터 포인트의 총 개수 각각에서 평가되는, 컴퓨터-구현 방법. - 청구항 10에 있어서,
상기 방법은,
데이터 베이스에 상기 최적의 스탑 포인트 시점을 저장하는 것을 더 포함하는, 컴퓨터-구현 방법. - 실험 테스트 중 최적의 스탑 포인트를 예측하기 위한 컴퓨터-구현 시스템으로서,
명령들을 저장하는 메모리; 및
단계들을 수행하도록 상기 명령들을 수행하도록 구성된 적어도 하나 이상의 프로세서를 포함하며,
상기 단계들은,
서버 상에서의 활성 실험 설계 테스트를 위한 총 테스트 시간을 획득하는 단계;
상기 서버 상에서의 상기 활성 실험 설계 테스트로부터의 상기 총 테스트 시간 동안의 최소 검출 가능 효과 경향 데이터를 획득하는 단계;
최소 검출 가능 효과 경향 데이터 포인트와 연관된 시간의 순간 최소 검출 가능 효과 변화를 획득하는 단계;
최소 검출 가능 효과 경향 데이터 포인트와 연관된 시간의 평균 최소 검출 가능 효과 변화를 획득하는 단계;
상기 최소 검출 가능 효과 경향 데이터와 연관된 상기 총 테스트 시간 동안의 복수 개의 순간 최소 검출 가능 효과 변화를 결정하는 단계;
상기 복수 개의 순간 최소 검출 가능 효과와 연관된 복수 개의 누적 최소 검출 가능 효과 변화를 결정하는 단계;
데이터 베이스에 상기 총 테스트 시간, 상기 최소 검출 가능 효과 누적 변화 임계 값, 상기 최소 검출 가능 효과 경향 데이터, 상기 평균 최소 검출 가능 효과 변화, 상기 복수 개의 순간 최소 검출 가능 효과 변화, 상기 복수 개의 누적 최소 검출 가능 효과 변화 및 상기 최적의 스탑 포인트 시점을 저장하는 단계;
상기 순간 최소 검출 가능 효과 변화와 상기 평균 최소 검출 가능 효과 변화의 비교에 기초하여 최적의 스탑 포인트 시점을 결정하는 단계; 및
상기 활성 실험 설계 테스트를 완료하기 위해 상기 서버에 상기 최적의 스탑 포인트 시점을 제공하는 단계를 포함하는- 상기 최적의 스탑 포인트 시점은 상기 총 테스트 시간보다 짧음-, 컴퓨터-구현 시스템.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US17/003,705 US20220067762A1 (en) | 2020-08-26 | 2020-08-26 | System and method for predicting an optimal stop point during an experiment test |
| US17/003,705 | 2020-08-26 | ||
| KR1020200177867A KR102385928B1 (ko) | 2020-08-26 | 2020-12-17 | 실험 테스트 중 최적의 스탑 포인트를 예측하는 시스템 및 방법 |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200177867A Division KR102385928B1 (ko) | 2020-08-26 | 2020-12-17 | 실험 테스트 중 최적의 스탑 포인트를 예측하는 시스템 및 방법 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20220046541A true KR20220046541A (ko) | 2022-04-14 |
Family
ID=80352774
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200177867A KR102385928B1 (ko) | 2020-08-26 | 2020-12-17 | 실험 테스트 중 최적의 스탑 포인트를 예측하는 시스템 및 방법 |
| KR1020220043590A KR20220046541A (ko) | 2020-08-26 | 2022-04-07 | 실험 테스트 중 최적의 스탑 포인트를 예측하는 시스템 및 방법 |
Family Applications Before (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200177867A KR102385928B1 (ko) | 2020-08-26 | 2020-12-17 | 실험 테스트 중 최적의 스탑 포인트를 예측하는 시스템 및 방법 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US20220067762A1 (ko) |
| KR (2) | KR102385928B1 (ko) |
| TW (2) | TWI773077B (ko) |
| WO (1) | WO2022043768A1 (ko) |
Family Cites Families (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002259464A (ja) * | 2001-02-28 | 2002-09-13 | Toshiba Corp | 実験計画法の支援装置、方法及びプログラム |
| JP3959980B2 (ja) * | 2001-04-26 | 2007-08-15 | 三菱ふそうトラック・バス株式会社 | 実験計画法に基づくデータ解析方法および装置並びに実験計画法に基づくデータ解析プログラムおよび同プログラムを記録したコンピュータ読み取り可能な記録媒体 |
| KR20050103631A (ko) * | 2004-04-27 | 2005-11-01 | 브이피코리아 주식회사 | 인터넷을 이용한 통계분석 시스템의 실험계획법 운영방법 |
| US8321359B2 (en) * | 2007-07-24 | 2012-11-27 | Hiconversion, Inc. | Method and apparatus for real-time website optimization |
| US8234632B1 (en) * | 2007-10-22 | 2012-07-31 | Google Inc. | Adaptive website optimization experiment |
| EP2282458A1 (en) * | 2009-07-17 | 2011-02-09 | BRITISH TELECOMMUNICATIONS public limited company | Usage policing in data networks |
| US8473247B2 (en) * | 2010-04-30 | 2013-06-25 | Applied Materials, Inc. | Methods for monitoring processing equipment |
| US9411573B2 (en) * | 2012-10-11 | 2016-08-09 | Google Inc. | Testing framework for applications |
| US20140337694A1 (en) * | 2013-05-13 | 2014-11-13 | Lior Haramaty | Method for automatically optimizing the effectiveness of a website |
| US20150193399A1 (en) * | 2014-01-09 | 2015-07-09 | Nokia Corporation | Method and apparatus for determining partial updates for a document object model |
| US11269576B2 (en) * | 2015-08-11 | 2022-03-08 | Optimizely, Inc. | Determining variations of content to provide to users in variation testing of content |
| US9760471B2 (en) * | 2015-09-23 | 2017-09-12 | Optimizely, Inc. | Implementing a reset policy during a sequential variation test of content |
| JP6309986B2 (ja) * | 2016-02-18 | 2018-04-11 | ファナック株式会社 | 数値制御工作機械の加工時間予測装置 |
| US11042603B2 (en) * | 2016-11-09 | 2021-06-22 | Adobe Inc. | Sequential hypothesis testing in a digital medium environment using continuous data |
| US10255173B2 (en) * | 2016-12-27 | 2019-04-09 | Optimizely, Inc. | Experimentation in internet-connected applications and devices |
| US20200167680A1 (en) * | 2017-05-17 | 2020-05-28 | Nec Corporation | Experimental design optimization device, experimental design optimization method, and experimental design optimization program |
| WO2018222204A1 (en) * | 2017-06-02 | 2018-12-06 | Google Llc | Systems and methods for black-box optimization |
| JP7323541B2 (ja) * | 2018-03-13 | 2023-08-08 | アプライド マテリアルズ インコーポレイテッド | 半導体処理のモニタリングのための機械学習システム |
| JP2019185591A (ja) * | 2018-04-16 | 2019-10-24 | 株式会社日立製作所 | 実験支援装置及び実験支援方法 |
| TWI659258B (zh) * | 2018-05-23 | 2019-05-11 | 亞智科技股份有限公司 | 蝕刻時間偵測方法及蝕刻時間偵測系統 |
-
2020
- 2020-08-26 US US17/003,705 patent/US20220067762A1/en not_active Abandoned
- 2020-12-17 KR KR1020200177867A patent/KR102385928B1/ko active Application Filing
-
2021
- 2021-01-05 TW TW110100267A patent/TWI773077B/zh active
- 2021-01-05 TW TW111124573A patent/TW202241090A/zh unknown
- 2021-02-15 WO PCT/IB2021/051257 patent/WO2022043768A1/en active Application Filing
-
2022
- 2022-04-07 KR KR1020220043590A patent/KR20220046541A/ko active Search and Examination
Also Published As
| Publication number | Publication date |
|---|---|
| WO2022043768A1 (en) | 2022-03-03 |
| TW202241090A (zh) | 2022-10-16 |
| KR20220029793A (ko) | 2022-03-08 |
| TWI773077B (zh) | 2022-08-01 |
| TW202209847A (zh) | 2022-03-01 |
| US20220067762A1 (en) | 2022-03-03 |
| KR102385928B1 (ko) | 2022-06-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102309820B1 (ko) | 플렉서블 배달 작업의 자동 할당을 위한 시스템 및 방법 | |
| KR102378606B1 (ko) | 전자적 재고 추적 시스템 및 연관된 사용자 인터페이스 | |
| KR102354731B1 (ko) | 온라인 플랫폼 상의 서비스와 모듈을 관리 및 모니터링하기 위한 컴퓨터 시스템 및 방법 | |
| KR102293867B1 (ko) | 분할 배송들을 단일 고객에게 자동으로 병합하기 위한 시스템들 및 방법들 | |
| KR102430347B1 (ko) | 제품 특성에 기초한 제품 가격 결정으로 재고를 관리하기 위한 컴퓨터화된 시스템 및 방법 | |
| KR102319529B1 (ko) | 가용 판매자의 지능적 선택과 연관 사용자 인터페이스 수정을 위한 컴퓨터화된 시스템 및 방법 | |
| KR20210101180A (ko) | 재고 관리를 위해 반품 아이템을 풀필먼트 센터로 이송하기 위한 컴퓨터-구현 시스템 및 방법 | |
| KR20220065742A (ko) | 자동 배달원 할당을 위한 시스템 및 방법 | |
| US20210398036A1 (en) | Systems and methods for responsive and automated predictive packaging acquisition | |
| KR102369580B1 (ko) | 개선된 k-평균 클러스터링 알고리즘을 이용하여 부정 트랜잭션을 검출하기 위한 컴퓨터-구현 방법 | |
| KR102447333B1 (ko) | 실시간 제품 등록을 전자적으로 결정하기 위한 컴퓨터-구현된 시스템 및 방법 | |
| KR20220057501A (ko) | 커스텀 풀필먼트 센터를 위한 최상위 아이템을 결정하는 컴퓨터 구현 시스템 및 방법 | |
| KR102313170B1 (ko) | 보장된 배달 시간 선택의 표시 및 결정을 위한 컴퓨터 시스템 및 방법 | |
| KR102385928B1 (ko) | 실험 테스트 중 최적의 스탑 포인트를 예측하는 시스템 및 방법 | |
| KR102382625B1 (ko) | 최소 검출 가능 효과를 예측하기 위한 컴퓨터 시스템 및 방법 | |
| KR102488638B1 (ko) | 실험 테스트 동안 이상값을 캡핑하기 위한 시스템 및 방법 | |
| KR20220122715A (ko) | 스크랩을 예측 및 관리하기 위한 컴퓨터화된 시스템 및 방법 | |
| KR20220071958A (ko) | 사용자 인터페이스에서 서비스 데이터 표시를 사전 활성화하기 위한 시스템 및 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A107 | Divisional application of patent | ||
| A201 | Request for examination |