TWI773077B - 用於在實驗測試期間預測最佳停止點的電腦實行系統以及方法 - Google Patents

用於在實驗測試期間預測最佳停止點的電腦實行系統以及方法 Download PDF

Info

Publication number
TWI773077B
TWI773077B TW110100267A TW110100267A TWI773077B TW I773077 B TWI773077 B TW I773077B TW 110100267 A TW110100267 A TW 110100267A TW 110100267 A TW110100267 A TW 110100267A TW I773077 B TWI773077 B TW I773077B
Authority
TW
Taiwan
Prior art keywords
detectable effect
minimum detectable
trend data
mde
cumulative
Prior art date
Application number
TW110100267A
Other languages
English (en)
Other versions
TW202209847A (zh
Inventor
貢小偉
貝貝 葉
葉俊
澈 徐
Original Assignee
南韓商韓領有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 南韓商韓領有限公司 filed Critical 南韓商韓領有限公司
Publication of TW202209847A publication Critical patent/TW202209847A/zh
Application granted granted Critical
Publication of TWI773077B publication Critical patent/TWI773077B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0637—Strategic management or analysis, e.g. setting a goal or target of an organisation; Planning actions based on goals; Analysis or evaluation of effectiveness of goals
    • G06Q10/06375—Prediction of business process outcome or impact based on a proposed change
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06395—Quality analysis or management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0633—Workflow analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q10/083—Shipping
    • G06Q10/0833—Tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0201—Market modelling; Market analysis; Collecting market data
    • G06Q30/0202—Market predictions or forecasting for commercial activities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0641—Shopping interfaces

Landscapes

  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Engineering & Computer Science (AREA)
  • Strategic Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Economics (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Development Economics (AREA)
  • Educational Administration (AREA)
  • Operations Research (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • Game Theory and Decision Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Physics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Algebra (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Machines For Laying And Maintaining Railways (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本發明揭露一種用於在實驗測試期間預測最佳停止點的 電腦實行系統及方法。所揭露電腦實行系統包括儲存指令的記憶體及至少一或多個處理器。至少一或多個處理器可經組態以執行指令以獲得總測試時間，獲得最低可偵測效應趨勢資料，判定平均最低可偵測效應改變，判定最低可偵測效應累積改變臨限值，判定多個瞬時最低可偵測效應改變，且判定多個累積最低可偵測效應改變。此外，至少一或多個處理器可經組態以基於平均最低可偵測效應改變、多個瞬時最低可偵測效應改變以及最低可偵測效應累積改變臨限值而判定最佳停止點時間以將最佳停止點時間提供至伺服器以結束主動測試。

Description

用於在實驗測試期間預測最佳停止點的電腦實 行系統以及方法
本揭露內容大體上是關於用於判定何時停止運行實驗測試的電腦化系統及方法。特定而言，本揭露內容的實施例是關於用於預測運行實驗測試的最佳停止點的創造性及非習知系統及方法。
當前實驗設計(design of experiments；DOE)用以理解影響過程及其輸出的因素之間的關係。DOE可用於理解吾人可感興趣的各種因素的因果關係。舉例而言，許多訂單履行公司利用DOE來理解其客戶的行為模式，以便最大化其利潤。具體而言，訂單履行公司可利用其網頁上的A/B測試來理解其客戶如何對其網頁上的特定元素的改變作出回應。A/B測試可包含準備具有某些元素的形式及視覺印象中的變化的網頁的兩個版本，其可用以量測彼等變化對銷售的影響。A/B測試可允許訂單履行公司建構假設且學習為何某些元素正面地或負面地影響客戶的行為。理解客戶的反應可引起藉由吸引對網頁的改變作出正面回應的客戶來最大化 利潤的網頁設計。
然而，雖然用於網頁的DOE或A/B測試為有用的，但其需要大量資源及時間來運行彼等實驗。DOE或A/B測試可需要長的實驗測試時間以確保與變化相關的足夠樣本大小包含在測試資料中以提供在統計學上顯著的結果。舉例而言，一些實驗測試可持續長至六個月以恢復足夠大量的統計資料，從而作出哪種變化具有對客戶的最正面影響的適當決策。對客戶具有最正面影響的變化亦可稱為在一些成功度量方面的贏家。成功度量可用於判定何時停止實驗測試，其中對客戶具有最正面影響的所關注的變化可達到大量統計改良。大量統計改良可藉由將P值與臨限值進行比較來判定。舉例而言，與P值比較以判定大量統計改良的臨限值可為0.05。若P值例如小於臨限值，則實驗測試可由於達到或偵測到所關注的變化中的大量統計改良而終止。另一方面，若P值大於或等於臨限值，則成功度量尚未達到或偵測到大量統計改良以停止實驗測試。未到達大量統計改良的成功度量可歸因於與所關注的變化相關的不足樣本大小以防止大量統計改良的偵測。訂單履行公司單獨使用P值作出可結束DOE或A/B測試的判定可無法有效預測運行DOE或A/B測試的所需時間量。運行實驗測試所需的時間的無效預測可轉變為訂單履約公司消耗的大量資源。
因此，需要用於在實驗測試期間預測最佳停止點的經改良方法及系統。
本揭露內容的一個態樣是針對用於在實驗測試期間預測 最佳停止點的電腦實行系統。電腦實行系統可包括儲存指令的記憶體及至少一或多個處理器。至少一或多個處理器可經組態以執行指令以獲得伺服器上的主動實驗測試設計的總測試時間，獲得伺服器上的主動實驗測試設計的總測試時間內的最低可偵測效應趨勢資料，且判定與最低可偵測效應趨勢資料相關聯的總測試時間內的平均最低可偵測效應改變。此外，至少一或多個處理器可經組態以判定與最低可偵測效應趨勢資料相關聯的總測試時間內的最低可偵測效應累積改變臨限值，判定與最低可偵測效應趨勢資料相關聯的總測試時間內的多個瞬時最低可偵測效應改變，且判定與多個瞬時最低可偵測效應相關聯的多個累積最低可偵測效應改變。此外，至少一或多個處理器可經組態以基於平均最低可偵測效應改變、多個瞬時最低可偵測效應改變以及最低可偵測效應累積改變臨限值而判定最佳停止點時間。至少一或多個處理器可經組態以將最佳停止點時間提供至伺服器以用於結束主動實驗測試設計。
本揭露內容的另一態樣是針對用於在實驗測試期間預測最佳停止點的方法。方法可包括以下步驟：獲得伺服器上的主動實驗測試設計的總測試時間，獲得伺服器上的主動實驗測試設計的總測試時間內的最低可偵測效應趨勢資料，以及判定與最低可偵測效應趨勢資料相關聯的總測試時間內的平均最低可偵測效應改變。此外，方法可包括判定與最低可偵測效應趨勢資料相關聯的總測試時間內的最低可偵測效應累積改變臨限值，判定與最低可偵測效應趨勢資料相關聯的總測試時間內的多個瞬時最低可偵測效應改變，以及判定與多個瞬時最低可偵測效應相關聯的多個累積 最低可偵測效應改變。此外，方法可包括基於平均最低可偵測效應改變、多個瞬時最低可偵測效應改變以及最低可偵測效應累積改變臨限值而判定最佳停止點時間。方法可包括將最佳停止點時間提供至伺服器以用於結束主動實驗測試設計。
本揭露內容的又另一態樣是針對用於在實驗測試期間預測最佳停止點的電腦實行系統。電腦實行系統可包括儲存指令的記憶體及至少一或多個處理器。至少一或多個處理器可經組態以執行指令以獲得伺服器上的主動實驗測試設計的總測試時間，獲得伺服器上的主動實驗測試設計的總測試時間內的最低可偵測效應趨勢資料，且判定與最低可偵測效應趨勢資料相關聯的總測試時間內的平均最低可偵測效應改變。此外，至少一或多個處理器可經組態以判定與最低可偵測效應趨勢資料相關聯的總測試時間內的最低可偵測效應累積改變臨限值，判定與最低可偵測效應趨勢資料相關聯的總測試時間內的多個瞬時最低可偵測效應改變，且判定與多個瞬時最低可偵測效應相關聯的多個累積最低可偵測效應改變。此外，至少一或多個處理器可經組態以當與來自資料庫的最佳停止點時間相關聯的瞬時最低可偵測效應改變可小於平均最低可偵測效應改變，且與來自資料庫的最佳停止點時間相關聯的累積可偵測效應改變可大於最低可偵測效應累積改變臨限值時，判定最佳停止點時間。至少一或多個處理器可經組態以將最佳停止點時間提供至伺服器以用於結束主動實驗測試設計。
本文中亦論述其他系統、方法以及電腦可讀媒體。
100:方塊圖/系統
101:運送授權技術系統
102A:行動裝置
102B:電腦
103:外部前端系統
105:內部前端系統
107:運輸系統
107A、107B、107C、119A、119B、119C:行動裝置
109:賣方入口網站
111:運送及訂單追蹤系統
113:履行最佳化系統
115:履行通信報閘道
117:供應鏈管理系統
119:倉庫管理系統
121A、121B、121C:第3方履行系統
123:履行中心授權系統
125:勞動管理系統
200:履行中心
201、222:卡車
202A、202B、208:物件
203:入站區
205:緩衝區
206:叉車
207:卸貨區
209:揀貨區
210:儲存單元
211:包裝區
213:樞紐區
214:運輸機構
215:營地區
216:牆
218、220:包裹
224A、224B:遞送工作者
226:汽車
300:系統
302:處理器
304:伺服器
306:資料庫
402、902:水平軸線
404、804:豎直軸線
406:MDE趨勢資料曲線
408(1):第一資料點
410(N):最終資料點
412:初始時間
414:初始MDE
416:最終時間
418:最終MDE
420:MDE趨勢資料點
424:時間T i
426:平均最低可偵測效應改變
500、600、700、800:方法
502、504、506、508、510、512、514、516、518、520、522、602、604、606、608、610、612、614、702、704、706、708、710、712、802、804、806、808、810、812、816、818、820、822:步驟
904:MDE資料
906:MDE趨勢資料
908:AMDEC
914:條件3
圖1A為與所揭露實施例一致的示出包括用於實現運送、運輸以及物流操作的通信的電腦化系統的網路的例示性實施例的示意性方塊圖。
圖1B描繪與所揭露實施例一致的包含滿足搜尋請求的一或多個搜尋結果以及交互式使用者介面元素的樣本搜尋結果頁(Search Result Page；SRP)。
圖1C描繪與所揭露實施例一致的包含產品及關於所述產品的資訊以及交互式使用者介面元素的樣本單一顯示頁(Single Display Page；SDP)。
圖1D描繪與所揭露實施例一致的包含虛擬購物車中的物件以及交互式使用者介面元素的樣本購物車頁。
圖1E描繪與所揭露實施例一致的包含來自虛擬購物車的物件以及關於購買及運送的資訊以及交互式使用者介面元素的樣本訂單頁。
圖2為與所揭露實施例一致的經組態以利用所揭露電腦化系統的例示性履行中心的圖解圖示。
圖3為示出與所揭露實施例一致的用於在實驗測試期間預測最佳停止點的例示性系統的方塊圖。
圖4描繪與所揭露實施例一致的樣本最低可偵測效應趨勢資料曲線及平均最低可偵測效應改變。
圖5為與所揭露實施例一致的判定最佳停止點時間的例示性方法的流程圖。
圖6為與所揭露實施例一致的判定多個瞬時最低可偵測效應 改變的例示性方法的流程圖。
圖7為與所揭露實施例一致的判定多個累積最低可偵測效應改變的例示性方法的流程圖。
圖8為與所揭露實施例一致的判定最佳停止點時間且將最佳停止點時間提供至伺服器以停止主動A/B測試或實驗測試設計的例示性方法的流程圖。
圖9描繪與所揭露實施例一致的樣本最佳停止時間判定條件。
以下詳細描述參考隨附圖式。只要可能，即在圖式及以下描述中使用相同附圖標號來指代相同或類似部分。儘管本文中描述若干示出性實施例，但修改、調適以及其他實施方案是可能的。舉例而言，可對圖式中所示出的組件及步驟進行替代、添加或修改，且可藉由取代、重新排序、移除步驟或將步驟添加至所揭露方法來修改本文中所描述的示出性方法。因此，以下詳細描述不限於所揭露實施例及實例。實情為，本發明的正確範圍由隨附申請專利範圍界定。
本揭露內容的實施例是針對經組態以特定預測在網頁上進行的主動A/B測試或實驗測試設計的最佳停止點時間的系統及方法。最佳停止點時間可用於結束或終止主動A/B測試或實驗測試設計以防止網站操作員(例如，線上訂單履行公司)花費任何額外資本資源進一步進行主動A/B測試或實驗測試設計。最佳停止點時間可藉由使用最小可偵測效應(minimal detectable effect； MDE)依據主動A/B測試或實驗測試設計判定。當前MDE值或資料(亦稱為所觀測到的MDE資料)可依據主動A/B測試或實驗測試設計的迄今為止的所關注變化的經收集資料來計算。迄今為止的所關注變化的經收集資料可為網頁基線與訂單履行公司的基線網頁的變化之間的特徵的改變。當前MDE資料可顯示主動A/B測試或實驗測試設計可足夠強大以偵測迄今為止的所關注變化的經收集資料中的最低效應大小。此外，若主動A/B測試或實驗測試設計運行較長時間，則將來或預測MDE資料亦可依據主動A/B測試或實驗測試設計中的所關注變化的經收集資料判定。MDE趨勢資料可包含來自主動A/B測試或實驗測試設計的所觀測到的MDE資料及將來或預測MDE資料兩者。因此，MDE趨勢資料可用於判定是否繼續或停止主動A/B測試或實驗測試設計。舉例而言，若訂單履行公司決定所觀測到的MDE資料或MDE趨勢資料應不超過(例如)5%，且所觀測到的MDE資料高於5%，但將來或預測MDE資料趨勢顯示不久降至5%以下的可能性，則訂單履行公司可決定可值得繼續主動A/B測試或實驗測試設計直至所觀測到的MDE資料或MDE趨勢資料可小於或等於5%。當所觀測到的MDE資料或MDE趨勢資料可小於或等於5%時，則訂單履行公司可終止主動A/B測試或實驗測試設計。或若將來或預測MDE資料趨勢顯示在合理的將來時間內沒有降至5%以下的可能性，則訂單履行公司可決定現在終止測試。
在另一實施例中，若訂單履行公司決定MDE趨勢資料應不超過(例如)5%，且MDE趨勢資料高於5%，但MDE趨勢資料顯示不久降至5%以下的可能性，則訂單履行公司可決定其可值 得繼續主動A/B測試或實驗測試設計直至MDE趨勢資料可小於或等於5%。當MDE趨勢資料可小於或等於5%時，則訂單履行公司可終止主動A/B測試或實驗測試設計。或若MDE趨勢資料趨勢顯示在合理的將來時間內沒有降至5%以下的可能性，則訂單履行公司可決定現在終止測試。
在另一實施例中，若訂單履行公司決定當前MDE值或資料應不超過(例如)5%，且當前MDE值或資料高於5%，但當前MDE值或資料趨勢顯示不久降至5%以下的可能性，則訂單履行公司可決定其可值得繼續主動A/B測試或實驗測試設計直至當前MDE值或資料可小於或等於5%。當當前MDE值或資料可小於或等於5%時，則訂單履行公司可終止主動A/B測試或實驗測試設計。或若當前MDE值或資料趨勢顯示在合理的將來時間內沒有降至5%以下的可能性，則訂單履行公司可決定現在終止測試。
在又另一實施例中，若訂單履行公司決定所觀測到的MDE資料應不超過(例如)5%，且所觀測到的MDE資料高於5%，但MDE趨勢資料顯示不久降至5%以下的可能性，則訂單履行公司可決定其可值得繼續主動A/B測試或實驗測試設計直至所觀測到的MDE資料可小於或等於5%。當MDE趨勢資料可小於或等於5%時，則訂單履行公司可終止主動A/B測試或實驗測試設計。或若MDE趨勢資料顯示在合理的將來時間內沒有降至5%以下的可能性，則訂單履行公司可決定現在終止測試。
在另一實施例中，若訂單履行公司決定所觀測到的MDE資料應不超過(例如)5%，且所觀測到的MDE資料高於5%，但所觀測到的MDE資料趨勢顯示不久降至5%以下的可能性，則訂 單履行公司可決定其可值得繼續主動A/B測試或實驗測試設計直至所觀測到的MDE資料可小於或等於5%。當所觀測到的MDE資料可小於或等於5%時，則訂單履行公司可終止主動A/B測試或實驗測試設計。或若所觀測到的MDE資料趨勢顯示在合理的將來時間內沒有降至5%以下的可能性，則訂單履行公司可決定現在終止測試。
參考圖1A，繪示示出包括用於實現運送、運輸以及物流操作的通信的電腦化系統的系統的例示性實施例的示意性方塊圖100。如圖1A中所示出，系統100可包含各種系統，所述系統中的每一者可經由一或多個網路彼此連接。所述系統亦可經由直接連接(例如，使用電纜)彼此連接。所描繪系統包含運送授權技術(shipment authority technology；SAT)系統101、外部前端系統103、內部前端系統105、運輸系統107、行動裝置107A、行動裝置107B以及行動裝置107C、賣方入口網站109、運送及訂單追蹤(shipment and order tracking；SOT)系統111、履行最佳化(fulfillment optimization；FO)系統113、履行通信報閘道(fulfillment messaging gateway；FMG)115、供應鏈管理(supply chain management；SCM)系統117、倉庫管理系統119、行動裝置119A、行動裝置119B以及行動裝置119C(描繪為在履行中心(FC)200內部)、第3方履行系統121A、第3方履行系統121B以及第3方履行系統121C、履行中心授權系統(fulfillment center authorization；FC Auth)123以及勞動管理系統(labor management system；LMS)125。
在一些實施例中，SAT系統101可實行為監視訂單狀態及遞送狀態的電腦系統。舉例而言，SAT系統101可判定訂單是 否超過其承諾遞送日期(PDD)且可採取適當的動作，包含發起新訂單、對未遞送訂單中的物件進行重新運送、取消未遞送訂單、發起與訂購客戶的連絡，或類似者。SAT系統101亦可監視其他資料，包含輸出(諸如在特定時間段期間運送的包裹的數目)及輸入(諸如接收到的用於運送的空紙板盒的數目)。SAT系統101亦可充當系統100中的不同裝置之間的閘道，從而(例如，使用儲存及轉發或其他技術)實現諸如外部前端系統103及FO系統113的裝置之間的通信。
在一些實施例中，外部前端系統103可實行為使得外部使用者能夠與系統100中的一或多個系統交互的電腦系統。舉例而言，在系統100使得系統的呈現能夠允許使用者針對物件下訂單的實施例中，外部前端系統103可實行為接收搜尋請求、呈現物件頁以及索求支付資訊的網頁伺服器。舉例而言，外部前端系統103可實行為電腦或電腦運行軟體，諸如阿帕奇(Apache)HTTP伺服器、微軟網際網路資訊服務(Internet Information Service；IIS)、NGINX，或類似者。在其他實施例中，外部前端系統103可運行經設計以接收及處理來自外部裝置(例如，行動裝置102A或電腦102B)的請求、基於彼等請求自資料庫及其他資料儲存庫獲取資訊，以及基於所獲取的資訊將回應提供至接收到的請求的定製網頁伺服器軟體。
在一些實施例中，外部前端系統103可包含網頁快取系統、資料庫、搜尋系統或支付系統中的一或多者。在一個態樣中，外部前端系統103可包括此等系統中的一或多者，而在另一態樣中，外部前端系統103可包括連接至此等系統中的一或多者的介 面(例如，伺服器至伺服器、資料庫至資料庫，或其他網路連接)。
藉由圖1B、圖1C、圖1D以及圖1E所示出的例示性步驟集合將有助於描述外部前端系統103的一些操作。外部前端系統103可自系統100中的系統或裝置接收資訊以供呈現及/或顯示。舉例而言，外部前端系統103可代管或提供一或多個網頁，包含搜尋結果頁(SRP)(例如，圖1B)、單一詳情頁(Single Detail Page；SDP)(例如，圖1C)、購物車頁(例如，圖1D)，或訂單頁(例如，圖1E)。(例如，使用行動裝置102A或電腦102B的)使用者裝置可導航至外部前端系統103且藉由將資訊輸入至搜尋方塊中來請求搜尋。外部前端系統103可向系統100中的一或多個系統請求資訊。舉例而言，外部前端系統103可向FO系統113請求滿足搜尋請求的資訊。外部前端系統103亦可(自FO系統113)請求及接收包含於搜尋結果中的每一產品的承諾遞送日期或「PDD」。在一些實施例中，PDD可表示在特定時間段內(例如，在一天結束(下午11：59)前)訂購的情況下對含有產品的包裹將何時抵達使用者的所要位置或承諾將產品遞送至使用者的所要位置處的日期的估計。(PDD在下文相對於FO系統113進一步論述。)
外部前端系統103可基於資訊來準備SRP(例如，圖1B)。SRP可包含滿足搜尋請求的資訊。舉例而言，此可包含滿足搜尋請求的產品的圖像。SRP亦可包含每一產品的各別價格，或與每一產品的增強遞送選項、PDD、重量、大小、報價、折扣或類似者相關的資訊。外部前端系統103可(例如，經由網路)將SRP發送至請求使用者裝置。
使用者裝置可接著例如藉由點選或輕觸使用者介面或使用另一輸入裝置自SRP選擇產品，以選擇表示於SRP上的產品。使用者裝置可製訂對關於所選產品的資訊的請求且將其發送至外部前端系統103。作為回應，外部前端系統103可請求與所選產品相關的資訊。舉例而言，資訊可包含除針對各別SRP上的產品呈現的資訊以外的額外資訊。此可包含例如保存期限、原產國、重量、大小、包裹中的物件的數目、處置說明，或關於產品的其他資訊。資訊亦可包含類似產品的推薦(基於例如巨量資料及/或對購買此產品及至少一個其他產品的客戶的機器學習分析)、頻繁詢問的問題的答案、來自客戶的評論、製造商資訊、圖像，或類似者。
外部前端系統103可基於接收到的產品資訊來準備SDP(單一詳情頁)(例如，圖1C)。SDP亦可包含其他交互式元素，諸如「現在購買」按鈕、「添加至購物車」按鈕、數量欄、物件的圖像，或類似者。SDP可更包含提供產品的賣方的列表。可基於每一賣方提供的價格來對列表進行排序，使得可在頂部處列出提供以最低價格出售產品的賣方。亦可基於賣方排名來對列表進行排序，使得可在頂部處列出排名最高的賣方。可基於多個因素來製訂賣方排名，所述因素包含例如賣方的符合承諾PDD的過去的追蹤記錄。外部前端系統103可(例如，經由網路)將SDP遞送至請求使用者裝置。
請求使用者裝置可接收列出產品資訊的SDP。在接收到SDP後，使用者裝置可接著與SDP交互。舉例而言，請求使用者裝置的使用者可點選或以其他方式與SDP上的「放在購物車中」按鈕交互。此將產品添加至與使用者相關聯的購物車。使用者裝置 可將把產品添加至購物車的此請求傳輸至外部前端系統103。
外部前端系統103可產生購物車頁(例如，圖1D)。在一些實施例中，購物車頁列出使用者已添加至虛擬「購物車」的產品。使用者裝置可藉由在SRP、SDP或其他頁上的圖標上點選或以其他方式與所述圖標交互來請求購物車頁。在一些實施例中，購物車頁可列出使用者已添加至購物車的所有產品，以及關於購物車中的產品的資訊(諸如每一產品的數量、每一產品每物件的價格、每一產品基於相關聯數量的價格)、關於PDD的資訊、遞送方法、運送成本、用於修改購物車中的產品(例如，刪除或修改數量)的使用者介面元素、用於訂購其他產品或設置產品的定期遞送的選項、用於設置利息支付的選項、用於前進至購買的使用者介面元素，或類似者。使用者裝置處的使用者可在使用者介面元素(例如，寫著「現在購買」的按鈕)上點選或以其他方式與所述使用者介面元素交互，以發起對購物車中的產品的購買。在如此做後，使用者裝置可將發起購買的此請求傳輸至外部前端系統103。
外部前端系統103可回應於接收到發起購買的請求而產生訂單頁(例如，圖1E)。在一些實施例中，訂單頁重新列出來自購物車的物件且請求支付及運送資訊的輸入。舉例而言，訂單頁可包含請求關於購物車中的物件的購買者的資訊(例如，姓名、地址、電子郵件地址、電話號碼)、關於接收者的資訊(例如，姓名、地址、電話號碼、遞送資訊)、運送資訊(例如，遞送及/或揀貨的速度/方法)、支付資訊(例如，信用卡、銀行轉賬、支票、儲存的積分)的部分、請求現金收據(例如，出於稅務目的)的使用者介面元素，或類似者。外部前端系統103可將訂單頁發送至使用者 裝置。
使用者裝置可輸入關於訂單頁的資訊，且點選或以其他方式與將資訊發送至外部前端系統103的使用者介面元素交互。自此處，外部前端系統103可將資訊發送至系統100中的不同系統，以使得能夠創建及處理具有購物車中的產品的新訂單。
在一些實施例中，外部前端系統103可進一步經組態以使得賣方能夠傳輸及接收與訂單相關的資訊。
在一些實施例中，內部前端系統105可實行為使得內部使用者(例如，擁有、操作或租用系統100的組織的雇員)能夠與系統100中的一或多個系統交互的電腦系統。舉例而言，在系統100使得系統的呈現能夠允許使用者針對物件下訂單的實施例中，內部前端系統105可實行為使得內部使用者能夠查看關於訂單的診斷及統計資訊、修改物件資訊或審查與訂單相關的統計的網頁伺服器。舉例而言，內部前端系統105可實行為電腦或電腦運行軟體，諸如阿帕奇HTTP伺服器、微軟網際網路資訊服務(IIS)、NGINX，或類似者。在其他實施例中，內部前端系統105可運行經設計以接收及處理來自系統100中所描繪的系統或裝置(以及未描繪的其他裝置)的請求、基於彼等請求自資料庫及其他資料儲存庫獲取資訊，以及基於所獲取的資訊來將回應提供至接收到的請求的定製網頁伺服器軟體。
在一些實施例中，內部前端系統105可包含網頁快取系統、資料庫、搜尋系統、支付系統、分析系統、訂單監視系統或類似者中的一或多者。在一個態樣中，內部前端系統105可包括此等系統中的一或多者，而在另一態樣中，內部前端系統105可包 括連接至此等系統中的一或多者的介面(例如，伺服器至伺服器、資料庫至資料庫，或其他網路連接)。
在一些實施例中，運輸系統107可實行為實現系統100中的系統或裝置與行動裝置107A至行動裝置107C之間的通信的電腦系統。在一些實施例中，運輸系統107可自一或多個行動裝置107A至行動裝置107C(例如，行動電話、智慧型手機、PDA，或類似者)接收資訊。舉例而言，在一些實施例中，行動裝置107A至行動裝置107C可包括由遞送工作者操作的裝置。遞送工作者(其可為永久雇員、暫時雇員或輪班雇員)可利用行動裝置107A至行動裝置107C來實現對含有由使用者訂購的產品的包裹的遞送。舉例而言，為遞送包裹，遞送工作者可在行動裝置上接收指示遞送哪一包裹及將所述包裹遞送到何處的通知。在抵達遞送位置後，遞送工作者可(例如，在卡車的後部中或在包裹的條板箱中)定位包裹、使用行動裝置掃描或以其他方式擷取與包裹上的識別符(例如，條碼、影像、文字串、RFID標籤，或類似者)相關聯的資料，且遞送包裹(例如，藉由將其留在前門處、將其留給警衛、將其交給接收者，或類似者)。在一些實施例中，遞送工作者可使用行動裝置擷取包裹的相片及/或可獲得簽名。行動裝置可將資訊發送至運輸系統107，所述資訊包含關於遞送的資訊，包含例如時間、日期、GPS位置、相片、與遞送工作者相關聯的識別符、與行動裝置相關聯的識別符，或類似者。運輸系統107可在資料庫(未描繪)中儲存此資訊以用於由系統100中的其他系統訪問。在一些實施例中，運輸系統107可使用此資訊來準備追蹤資料且將所述追蹤資料發送至其他系統，從而指示特定包裹的位置。
在一些實施例中，某些使用者可使用一個種類的行動裝置(例如，永久工作者可使用具有定製硬體(諸如條碼掃描器、尖筆以及其他裝置)的專用PDA)，而其他使用者可使用其他類型的行動裝置(例如，暫時工作者或輪班工作者可利用現成的行動電話及/或智慧型手機)。
在一些實施例中，運輸系統107可使使用者與每一裝置相關聯。舉例而言，運輸系統107可儲存使用者(由例如使用者識別符、雇員識別符或電話號碼表示)與行動裝置(由例如國際行動設備身分(International Mobile Equipment Identity；IMEI)、國際行動訂用識別符(International Mobile Subscription Identifier；IMSI)、電話號碼、通用唯一識別符(Universal Unique Identifier；UUID)或全球唯一識別符(Globally Unique Identifier；GUID)表示)之間的關聯。運輸系統107可結合在遞送時接收到的資料使用此關聯來分析儲存於資料庫中的資料，以便尤其判定工作者的位置、工作者的效率，或工作者的速度。
在一些實施例中，賣方入口網站109可實行為使得賣方或其他外部實體能夠與系統100中的一或多個系統電子地通信的電腦系統。舉例而言，賣方可利用電腦系統(未描繪)來上載或提供賣方希望經由使用賣方入口網站109的系統100來出售的產品的產品資訊、訂單資訊、連絡資訊或類似者。
在一些實施例中，運送及訂單追蹤系統111可實行為接收、儲存以及轉送關於含有由客戶(例如，由使用裝置102A至裝置102B的使用者)訂購的產品的包裹的位置的資訊的電腦系統。在一些實施例中，運送及訂單追蹤系統111可請求或儲存來自由 遞送含有由客戶訂購的產品的包裹的運送公司操作的網頁伺服器(未描繪)的資訊。
在一些實施例中，運送及訂單追蹤系統111可請求及儲存來自在系統100中描繪的系統的資訊。舉例而言，運送及訂單追蹤系統111可請求來自運輸系統107的資訊。如上文所論述，運輸系統107可自與使用者(例如，遞送工作者)或車輛(例如，遞送卡車)中的一或多者相關聯的一或多個行動裝置107A至行動裝置107C(例如，行動電話、智慧型手機、PDA或類似者)接收資訊。在一些實施例中，運送及訂單追蹤系統111亦可向倉庫管理系統(warehouse management system；WMS)119請求資訊以判定個別產品在履行中心(例如，履行中心200)內部的位置。運送及訂單追蹤系統111可向運輸系統107或WMS 119中的一或多者請求資料，在請求後處理所述資料，且將所述資料呈現給裝置(例如，使用者裝置102A及使用者裝置102B)。
在一些實施例中，履行最佳化(FO)系統113可實行為儲存來自其他系統(例如，外部前端系統103及/或運送及訂單追蹤系統111)的客戶訂單的資訊的電腦系統。FO系統113亦可儲存描述特定物件保存或儲存於何處的資訊。舉例而言，某些物件可能僅儲存於一個履行中心中，而某些其他物件可能儲存於多個履行中心中。在再其他實施例中，某些履行中心可經設計以僅儲存特定物件集合(例如，新鮮農產品或冷凍產品)。FO系統113儲存此資訊以及相關聯資訊(例如，數量、大小、接收日期、過期日期等)。
FO系統113亦可計算每一產品的對應PDD(承諾遞送日期)。在一些實施例中，PDD可以基於一或多個因素。舉例而言， FO系統113可基於下述者來計算產品的PDD：對產品的過去需求(例如，在一段時間期間訂購了多少次所述產品)、對產品的預期需求(例如，預測在即將到來的一段時間期間多少客戶將訂購所述產品)、指示在一段時間期間訂購了多少產品的全網路過去需求、指示預期在即將到來的一段時間期間將訂購多少產品的全網路預期需求、儲存於每一履行中心200中的產品的一或多個計數、哪一履行中心儲存每一產品、產品的預期或當前訂單，或類似者。
在一些實施例中，FO系統113可定期(例如，每小時)判定每一產品的PDD且將其儲存於資料庫中以供檢索或發送至其他系統(例如，外部前端系統103、SAT系統101、運送及訂單追蹤系統111)。在其他實施例中，FO系統113可自一或多個系統(例如，外部前端系統103、SAT系統101、運送及訂單追蹤系統111)接收電子請求且按需求計算PDD。
在一些實施例中，履行通信報閘道(FMG)115可實行為自系統100中的一或多個系統(諸如FO系統113)接收呈一種格式或協定的請求或回應、將其轉換為另一格式或協定且將其以轉換後的格式或協定轉發至其他系統(諸如WMS 119或第3方履行系統121A、第3方履行系統121B或第3方履行系統121C)且反之亦然的電腦系統。
在一些實施例中，供應鏈管理(SCM)系統117可實行為進行預測功能的電腦系統。舉例而言，SCM系統117可基於例如下述者來預測對特定產品的需求水平：基於對產品的過去需求、對產品的預期需求、全網路過去需求、全網路預期需求、儲存於每一履行中心200中的計數產品、每一產品的預期或當前訂單，或類 似者。回應於此預測水平及所有履行中心中的每一產品的量，SCM系統117可產生一或多個購買訂單以購買及儲備足夠數量，以滿足對特定產品的預測需求。
在一些實施例中，倉庫管理系統(WMS)119可實行為監視工作流程的電腦系統。舉例而言，WMS 119可自個別裝置(例如，裝置107A至裝置107C或裝置119A至裝置119C)接收指示離散事件的事件資料。舉例而言，WMS 119可接收指示此等裝置中的一者的使用掃描包裹的事件資料。如下文相對於履行中心200及圖2所論述，在履行過程期間，可藉由特定階段處的機器(例如，自動式或手持式條碼掃描器、RFID讀取器、高速攝影機、諸如平板電腦119A、行動裝置/PDA 119B、電腦119C的裝置或類似者)掃描或讀取包裹識別符(例如，條碼或RFID標籤資料)。WMS 119可將指示掃描或包裹識別符的讀取的每一事件以及包裹識別符、時間、日期、位置、使用者識別符或其他資訊儲存於對應資料庫(未描繪)中，且可將此資訊提供至其他系統(例如，運送及訂單追蹤系統111)。
在一些實施例中，WMS 119可儲存使一或多個裝置(例如，裝置107A至裝置107C或裝置119A至裝置119C)與一或多個使用者(所述一或多個使用者與系統100相關聯)相關聯的資訊。舉例而言，在一些情形下，使用者(諸如兼職雇員或全職雇員)可與行動裝置相關聯，此是由於使用者擁有行動裝置(例如，行動裝置為智慧型手機)。在其他情形下，使用者可與行動裝置相關聯，此是由於使用者暫時保管行動裝置(例如，使用者在一天開始時拿到行動裝置，將在一天期間使用所述行動裝置，且將在一天結束時 退還所述行動裝置)。
在一些實施例中，WMS 119可維護與系統100相關聯的每一使用者的工作日志。舉例而言，WMS 119可儲存與每一雇員相關聯的資訊，包含任何指定的過程(例如，自卡車卸載、自揀貨區揀取物件、合流牆(rebin wall)工作、包裝物件)、使用者識別符、位置(例如，履行中心200中的樓層或區)、藉由雇員經由系統移動的單位數目(例如，所揀取物件的數目、所包裝物件的數目)、與裝置(例如，裝置119A至裝置119C)相關聯的識別符，或類似者。在一些實施例中，WMS 119可自計時系統接收登記及登出資訊，所述計時系統諸如在裝置119A至裝置119C上操作的計時系統。
在一些實施例中，第3方履行(3rd party fulfillment；3PL)系統121A至第3方履行系統121C表示與物流及產品的第三方提供商相關聯的電腦系統。舉例而言，儘管一些產品儲存於履行中心200中(如下文相對於圖2所論述)，但其他產品可儲存於場外、可按需求生產，或可以其他方式不可供用於儲存於履行中心200中。3PL系統121A至3PL系統121C可經組態以(例如，經由FMG 115)自FO系統113接收訂單，且可直接為客戶提供產品及/或服務(例如，遞送或安裝)。在一些實施例中，3PL系統121A至3PL系統121C中的一或多者可為系統100的部分，而在其他實施例中，3PL系統121A至3PL系統121C中的一或多者可在系統100外部(例如，由第三方提供商擁有或操作)。
在一些實施例中，履行中心Auth系統(FC Auth)123可實行為具有各種功能的電腦系統。舉例而言，在一些實施例中，FC Auth 123可充當系統100中的一或多個其他系統的單一簽入(single-sign on；SSO)服務。舉例而言，FC Auth 123可使得使用者能夠經由內部前端系統105登入、判定使用者具有訪問運送及訂單追蹤系統111處的資源的類似特權，且使得使用者能夠在不需要第二登入過程的情況下取得彼等特權。在其他實施例中，FC Auth 123可使得使用者(例如，雇員)能夠使自身與特定任務相關聯。舉例而言，一些雇員可能不具有電子裝置(諸如裝置119A至裝置119C)，且實際上可能在一天的過程期間在履行中心200內自任務至任務以及自區至區移動。FC Auth 123可經組態以使得彼等雇員能夠在一天的不同時間指示其正進行何任務以及其位於何區。
在一些實施例中，勞動管理系統(LMS)125可實行為儲存雇員(包含全職雇員及兼職雇員)的出勤及超時資訊的電腦系統。舉例而言，LMS 125可自FC Auth 123、WMS 119、裝置119A至裝置119C、運輸系統107及/或裝置107A至裝置107C接收資訊。
圖1A中所描繪的特定組態僅為實例。舉例而言，儘管圖1A描繪連接至FO系統113的FC Auth系統123，但並非所有實施例均要求此特定組態。實際上，在一些實施例中，系統100中的系統可經由一或多個公用或私用網路彼此連接，所述網路包含網際網路、企業內部網路、廣域網路(Wide-Area Network；WAN)、都會區域網路(Metropolitan-Area Network；MAN)、順應IEEE 802.11a/b/g/n標準的無線網路、租用線，或類似者。在一些實施例中，系統100中的系統中的一或多者可實行為在資料中心、伺服 器群或類似者處實行的一或多個虛擬伺服器。
圖2描繪履行中心200。履行中心200為儲存用於在訂購時運送至客戶的物件的實體位置的實例。可將履行中心(FC)200劃分成多個區，所述區中的每一者描繪於圖2中。在一些實施例中，可認為此等「區」為接收物件、儲存物件、檢索物件以及運送物件的過程的不同階段之間的虛擬劃分。因此，儘管在圖2中描繪「區」，但其他區劃分為可能的，且在一些實施例中可省略、複製或修改圖2中的區。
入站區203表示FC 200的自希望使用來自圖1A的系統100出售產品的賣方接收到物件的區域。舉例而言，賣方可使用卡車201來遞送物件202A及物件202B。物件202A可表示足夠大以佔據其自身運送托板的單一物件，而物件202B可表示在同一托板上堆疊在一起以節省空間的物件集合。
工作者將在入站區203中接收物件，且可使用電腦系統(未描繪)來視情況檢查物件的損壞及正確性。舉例而言，工作者可使用電腦系統來比較物件202A及物件202B的數量與物件的所訂購數量。若數量不匹配，則工作者可拒絕物件202A或物件202B中的一或多者。若數量的確匹配，則工作者可(使用例如台車、手推平車、叉車或手動地)將彼等物件移動至緩衝區205。緩衝區205可為當前(例如由於揀貨區中存在足夠高數量的物件以滿足預測需求而)無需處於揀貨區中的所述物件的暫時儲存區域。在一些實施例中，叉車206操作以圍繞緩衝區205及在入站區203與卸貨區207之間移動物件。若(例如，由於預測需求而)需要揀貨區中的物件202A或物件202B，則叉車可將物件202A或物件202B移 動至卸貨區207。
卸貨區207可為FC 200的在將物件移動至揀貨區209之前儲存所述物件的區域。指定給揀貨任務的工作者(「揀貨員」)可靠近揀貨區中的物件202A及物件202B，使用行動裝置(例如，裝置119B)來掃描揀貨區的條碼，且掃描與物件202A及物件202B相關聯的條碼。揀貨員可接著(例如，藉由將物件置放於推車上或攜帶所述物件)將所述物件取至揀貨區209。
揀貨區209可為FC 200的將物件208儲存於儲存單元210上的區域。在一些實施例中，儲存單元210可包含實體擱架、書架、盒、手提包、冰箱、冷凍機、冷儲存區或類似者中的一或多者。在一些實施例中，揀貨區209可組織成多個樓層。在一些實施例中，工作者或機器可以多種方式將物件移動至揀貨區209中，包含例如叉車、電梯、傳送帶、推車、手推平車、台車、自動化機器人或裝置，或手動地移動。舉例而言，揀貨員可在卸貨區207中將物件202A及物件202B置放於手推平車或推車上，且將物件202A及物件202B步移至揀貨區209。
揀貨員可接收將物件置放(或「堆裝」)於揀貨區209中的特定點(諸如儲存單元210上的特定空間)的指令。舉例而言，揀貨員可使用行動裝置(例如，裝置119B)來掃描物件202A。裝置可例如使用指示走道、貨架以及位置的系統來指示揀貨員應將物件202A堆裝於何處。裝置可接著提示揀貨員在將物件202A堆裝於所述位置之前掃描所述位置處的條碼。裝置可(例如，經由無線網路)將資料發送至諸如圖1A中的WMS 119的電腦系統，從而指示已由使用裝置119B的使用者將物件202A堆裝於所述位置 處。
一旦使用者下訂單，揀貨員即可在裝置119B上接收自儲存單元210檢索一或多個物件208的指令。揀貨員可檢索物件208、掃描物件208上的條碼，且將所述物件208置放於運輸機構214上。儘管將運輸機構214表示為滑動件，但在一些實施例中，運輸機構可實行為傳送帶、電梯、推車、叉車、手推平車、台車或類似者中的一或多者。物件208可接著抵達包裝區211。
包裝區211可為FC 200的自揀貨區209接收到物件且將所述物件包裝至盒或包中以用於最終運送至客戶的區域。在包裝區211中，指定給接收物件的工作者(「合流工作者」)將自揀貨區209接收物件208且判定所述物件208對應於哪一訂單。舉例而言，合流工作者可使用諸如電腦119C的裝置來掃描物件208上的條碼。電腦119C可在視覺上指示物件208與哪一訂單相關聯。此可包含例如對應於訂單的牆216上的空間或「單元格」。一旦訂單完成(例如，由於單元格含有所述訂單的所有物件)，合流工作者即可指示包裝工作者(或「包裝員」)訂單完成。包裝員可自單元格檢索物件且將所述物件置放於盒或包中以用於運送。包裝員可接著例如經由叉車、推車、台車、手推平車、傳送帶、手動地或以其他方式將盒或包發送至樞紐區(hub zone)213。
樞紐區213可為FC 200的自包裝區211接收所有盒或包(「包裹」)的區域。樞紐區213中的工作者及/或機器可檢索包裹218且判定每一包裹預期去至遞送區域的哪一部分，且將包裹投送至適當的營地區(camp zone)215。舉例而言，若遞送區域具有兩個更小子區域，則包裹將去至兩個營地區215中的一者。在一些 實施例中，工作者或機器可(例如，使用裝置119A至裝置119C中的一者)掃描包裹以判定其最終目的地。將包裹投送至營地區215可包括例如(例如，基於郵遞碼)判定包裹去往的地理區域的一部分，以及判定與地理區域的所述部分相關聯的營地區215。
在一些實施例中，營地區215可包括一或多個建築物、一或多個實體空間或一或多個區域，其中自樞紐區213接收包裹以用於分選至路線及/或子路線中。在一些實施例中，營地區215與FC 200實體地分開，而在其他實施例中，營地區215可形成FC 200的一部分。
營地區215中的工作者及/或機器可例如基於下述者來判定包裹220應與哪一路線及/或子路線相關聯：目的地與現有路線及/或子路線的比較、對每一路線及/或子路線的工作負荷的計算、時刻、運送方法、運送包裹220的成本、與包裹220中的物件相關聯的PDD或類似者。在一些實施例中，工作者或機器可(例如，使用裝置119A至裝置119C中的一者)掃描包裹以判定其最終目的地。一旦將包裹220指定給特定路線及/或子路線，工作者及/或機器即可移動待運送的包裹220。在例示性圖2中，營地區215包含卡車222、汽車226以及遞送工作者224A及遞送工作者224B。在一些實施例中，卡車222可由遞送工作者224A駕駛，其中遞送工作者224A為遞送FC 200的包裹的全職雇員，且卡車222由擁有、租用或操作FC 200的同一公司擁有、租用或操作。在一些實施例中，汽車226可由遞送工作者224B駕駛，其中遞送工作者224B為在視需要基礎上(例如，季節性地)遞送的「靈活」或臨時工作者。汽車226可由遞送工作者224B擁有、租用或操作。
圖3為示出與所揭露實施例一致的用於在實驗測試期間預測最佳停止點的例示性系統300的方塊圖。系統300可包含經組態以在系統100上進行的主動A/B測試或實驗測試設計期間判定最佳停止點的一或多個處理器302(在本文中稱為處理器302)。主動A/B測試或實驗測試設計可在外部前端系統103上進行，其中客戶可與網頁或行動應用交互。關於主動A/B測試或實驗測試設計的資料可記錄在伺服器304上。伺服器304可自內部前端系統105獲取資料。資料可包含MDE資料、p值、樣本大小、額外方差分析(analysis of variance；ANOVA)資料以及MDE趨勢資料。MDE資料可表示(例如)吾人試圖在基線網頁的改變內偵測的相對最低改良。P值可表示支援或拒絕虛無假設的證據(亦即，若其反訴為不可能的，則假定技術方案有效)，其中P值可量化證據的統計顯著性的概念。樣本大小可表示包含在統計樣本中的觀察(亦即，客戶喜歡網站上的某一特徵)的數目。ANOVA資料可表示統計模型及其相關聯估計程序的集合，所述相關聯估計程序用於分析樣本中的群組平均值的差。在一些實施例中，MDE趨勢資料可包含迄今為止的所觀測到的MDE資料及在多達訂單履行公司可願意花費在主動A/B測試或實驗測試設計中的最大天數的將來天數內的預測MDE資料兩者。總測試時間亦可為多達訂單履行公司可願意花費在主動A/B測試或實驗測試設計中的最大天數的將來天數。最佳停止點時間小於總測試時間。處理器302可將最佳停止點傳送至伺服器304以在總測試時間到期之前結束主動A/B測試或實驗測試設計。處理器302可將MDE趨勢資料、總測試時間以及最佳停止點時間儲存在資料庫306中。
圖4描繪與所揭露實施例一致的示出最低可偵測效應趨勢資料曲線及平均最低可偵測效應改變的例示性圖表。圖4為系統300可向處理器302及資料庫306檢索及產生以判定最佳停止點時間的資料的代表圖。水平軸線402可表示時間，且豎直軸線404可表示MDE趨勢資料。處理器302可檢索來自伺服器304的MDE趨勢資料。MDE趨勢資料可包含主動A/B測試或實驗測試設計預期運行的總測試時間內的預測MDE資料。總測試時間內的預測MDE資料可基於內插及/或外插技術以及來自先前完成的A/B測試或實驗測試設計的知識以及來自當前測試的所觀測到的MDE資料而產生。MDE趨勢資料可說明為主動A/B測試或實驗測試設計預期運行的總測試時間內的MDE趨勢資料曲線406。MDE趨勢資料曲線406可具有第一資料點408(1)及最終資料點410(N)。MDE趨勢資料曲線406的第一資料點408(1)可具有T1處的初始時間412及MDE0處的其對應初始MDE 414。此外，最終資料點410(N)可具有TT處的最終時間416及MDEf處的其對應最終MDE 418。TT處的最終時間416可為總測試時間。處理器302可基於第一資料點408(1)及最終資料點410(N)基於來自2至i一直至N-1的MDE趨勢資料而產生MDE趨勢資料點420。處理器302亦可利用來自1至i一直至最終資料點410(N)的MDE趨勢資料自身。N可為MDE趨勢資料點或處理器302可自其產生MDE趨勢資料曲線406的MDE趨勢資料中的點的總數目。舉例而言，瞬時最低可偵測效應改變(本文中稱為IMDEC)(δ(i))可由用於420中的每一MDE趨勢資料點i的處理器302判定，其中所有IMDEC為多個IMDEC。IMDEC可為基於MDE趨勢資料的 瞬時斜率或MDE趨勢資料中的無限小改變。圖6在以下提供判定IMDEC的例示性過程。此外，時間T i 424可表示最佳停止點時間。此外，累積最低可偵測效應改變(本文中稱為CMDEC)可基於聚集多個IMDEC而由用於420中的每一MDE趨勢資料點i的處理器302判定。因此，若多個IMDEC已依據第一資料點408(1)至i評估，則i的CMDEC可為來自第一資料點408(1)至i的多個IMDEC的和。圖7在以下提供判定IMDEC的例示性過程。此外，平均最低可偵測效應改變(本文中稱為AMDEC)426可由處理器302根據第一資料點408(1)及最終資料點410(N)判定。圖5在以下提供判定AMDEC的例示性過程。處理器302可將總測試時間、MDE趨勢資料、MDE趨勢資料點i(其可包含第一資料點408(1)及最終資料點410(N))、多個IMDEC、多個CMDEC以及AMDEC儲存在資料庫306中。
圖5為與所揭露實施例一致的判定最佳停止點時間的例示性方法500的流程圖。方法500的步驟可由處理器302進行。在步驟502處，處理器302可獲得來自伺服器304的總測試時間且將其儲存在資料庫306中。總測試時間可由主動A/B測試或實驗測試設計、過去A/B測試或實驗測試設計或來自伺服器304上的主動或過去A/B測試或實驗設計的MDE趨勢資料判定。在步驟504處，處理器302可獲得來自伺服器304的在總測試時間內的MDE趨勢資料點的總數目(N)且將其儲存在資料庫306中。MDE趨勢資料點的總數目(N)可表示處理器302可利用來判定最佳停止點時間的均勻或不均勻時間間隔。時間間隔可為秒、分鐘、小時、天、週或月。在步驟506處，處理器302可獲得來自伺 服器304的MDE趨勢資料且將總測試時間內的MDE趨勢資料儲存在資料庫306中。在步驟508處，若MDE趨勢資料具有不均勻時間間隔，則處理器302可離散化MDE趨勢資料以產生新MDE趨勢資料點，使得MDE趨勢資料點之間的時間間隔可為均一的。新MDE趨勢資料點可替換可具有不均勻時間間隔的舊MDE趨勢資料或現有MDE趨勢資料點。用以產生新MDE趨勢資料點的離散化過程可基於現有MDE趨勢資料點的內插或外插。離散化過程可在總測試時間內進行以用於評估最佳停止點時間。新MDE趨勢資料點可由處理器302儲存在資料庫306中。MDE趨勢資料點可為新(離散化)及/或現有MDE趨勢資料點。
在步驟510處，處理器302可判定總測試時間內的AMDEC。AMDEC可為來自MDE趨勢資料點的第一資料點408(1)及最終資料點410(N)的斜率。AMDEC可由處理器302儲存在資料庫306中。在步驟512處，處理器302可判定MDE累積改變臨限值(MDEthrs)。MDE累積改變臨限值可為來自MDE趨勢資料的初始MDE 414與最終MDE 418之間的差異的百分率。初始MDE 414與最終MDE 418之間的百分率差異可在60百分比至90百分比的範圍內。百分率可基於履行公司對一種類型的網頁的研究。MDE累積改變臨限值可由處理器302儲存在資料庫306中。在步驟514處，處理器302可基於來自MDE趨勢資料的MDE趨勢資料點而判定總測試時間內的多個IMDEC。圖6在以下提供用於判定多個IMDEC的例示性過程。處理器302可將多個IMDEC儲存在資料庫306中。多個IMDEC可為來自MDE趨勢資料的每一MDE趨勢資料點的瞬時斜率。多個IMDEC亦可為MDE趨勢資料 點與下一MDE趨勢資料點之間的瞬時差異。可不在最終資料點410(N)處判定多個IMDEC。在步驟516處，處理器302可基於來自MDE趨勢資料的MDE趨勢資料點而判定總測試時間內的多個CMDEC。處理器302可將多個CMDEC儲存在資料庫306中。多個CMDEC可為多達資料點i的每一IMDEC的聚集。每一IMDEC的聚集可包含多達資料點i的所有資料點(多個IMDEC)的每一IMDEC的積聚。可不聚集最終資料點410(N)的多個CMDEC。在步驟518處，處理器302可依據多個IMDEC、多個CMDEC以及MDE累積改變臨限值判定最佳停止點時間。圖8在以下提供用於判定最佳停止點時間的例示性過程。最佳停止點時間可由處理器302儲存於資料庫306中。
在步驟520處，處理器302可判定是否可基於主動A/B測試或實驗測試設計而已更新了伺服器304中的MDE趨勢資料。伺服器304可提供指示是否已更新MDE趨勢資料的旗標。處理器302可判定是否已依據旗標指示更新了MDE趨勢資料。若處理器302判定尚未更新MDE趨勢資料(步驟520--否)，則在步驟522處，處理器302將最佳停止點時間發送至伺服器304，使得主動A/B測試或實驗測試設計可在最佳停止點時間處終止或結束。然而，若處理器302判定已更新MDE趨勢資料(步驟520--是)，則處理器302重複步驟506至步驟520。更新的MDE趨勢資料為已更新的MDE趨勢資料。
圖6為與所揭露實施例一致的判定多個瞬時最低可偵測效應改變的例示性方法600的流程圖。方法600的步驟可由處理器302進行。方法600的步驟描繪詳述執行步驟514的步驟的實 施例。在步驟602處，處理器可自儲存於資料庫306中的MDE趨勢資料獲得總測試時間內的MDE趨勢資料點。在步驟604處，處理器302可選擇來自MDE趨勢資料點的MDE趨勢資料點i，其具有i處的MDE及i處的時間(Ti)。在步驟606處，處理器302可選擇來自MDE趨勢資料點的下一MDE趨勢資料點i+1，其具有i+1處的MDE及i+1處的時間(Ti+1)。在步驟608處，處理器302可基於MDE趨勢資料點i及下一MDE趨勢資料點i+1而判定時間Ti處的IMDEC或δ(i)。在步驟610處，處理器302可將時間Ti處的IMDEC儲存在資料庫306中。IMDEC可為i處的MDE及i+1處的MDE的差異或MDE趨勢資料點i與下一MDE趨勢資料點i+1之間的在i處的瞬時斜率。
在步驟612處，處理器302可判定i+1是否小於MDE趨勢資料點的總數目(N)。處理器302可已自資料庫306或自MDE趨勢資料點獲得MDE趨勢資料點的總數目(N)。當處理器302判定i+1小於MDE趨勢資料點的總數目(步驟612--是)時，則在步驟614處，處理器302可使i遞增，其中i增加一個單位。由於條件i+1小於MDE趨勢資料點的總數目(N)，故處理器302可重複步驟604至步驟612。然而，當處理器302判定下一MDE趨勢資料點的i+1等於MDE趨勢資料點的總數目(步驟612--否)時，則處理器302可前進至步驟516。資料庫306中的每一時間Ti處的IMDEC或δ(i)為多個IMDEC。
圖7為與所揭露實施例一致的判定多個累積最低可偵測改變的例示性方法700的流程圖。方法700的步驟可由處理器302進行。方法700的步驟描繪詳述執行步驟516的步驟的實施例。 在步驟702處，處理器302可將變量x設置為等於零且將其儲存至資料庫306中。在步驟704處，處理器302可獲得資料庫306中的在時間Ti處的IMDEC δ(i)。在步驟706處，處理器302可藉由將變量x添加至時間Ti處的IMDEC或δ(i)來向變量x指定新值，所述新值可儲存於資料庫306中。在步驟708處，處理器302可將時間Ti處的CMDEC或Cum.δ(i)設置為等於變量x。處理器302可將時間Ti處的CMDEC或Cum.δ(i)儲存在資料庫306中。
在步驟710處，處理器302可判定i+1是否小於MDE趨勢資料點的總數目(N)。處理器302可已自資料庫306或自MDE趨勢資料點獲得MDE趨勢資料點的總數目(N)。當處理器302判定i+1小於MDE趨勢資料點的總數目(N)(步驟710--是)時，則在步驟712處，處理器302可使i遞增，其中i增加一個單位。由於條件i+1小於MDE趨勢資料點的總數目(N)，故處理器302可重複步驟704至步驟710。然而，當處理器302判定下一MDE趨勢資料點的i+1等於MDE趨勢資料點的總數目(N)(步驟710--否)時，則處理器302可前進至步驟518。資料庫306中的每一時間Ti處的CMDEC或Cum.δ(i)為多個CMDEC。
圖8為與所揭露實施例一致的判定最佳停止點時間且將最佳停止點時間提供至伺服器以停止主動A/B測試或實驗測試設計的例示性方法800的流程圖。方法800的步驟可由處理器302進行。方法800的步驟描繪詳述執行步驟518的步驟的實施例。在步驟802處，處理器302可自資料庫306獲得時間Ti處的IMDEC或δ(i)。在步驟804處，處理器302可自資料庫306獲得時間Ti處的CMDEC或Cum.δ(i)。在步驟806處，處理器302可自資料 庫306獲得AMDEC且可判定時間Ti處的IMDEC或δ(i)是否小於AMDEC。當處理器302判定時間Ti處的IMDEC或δ(i)小於AMDEC(步驟806--是)時，則在步驟808處，處理器302可自資料庫306獲得MDE累積改變臨限值。在步驟810處，處理器302可判定時間Ti處的CMDEC或Cum.δ(i)是否大於MDE累積改變臨限值。當處理器302判定時間Ti處的CMDEC或Cum.δ(i)大於MDE累積改變臨限值時，則在步驟812處，處理器302可自Ti得到最佳停止點時間，其可對應於其中IMDEC或δ(i)小於AMDEC且CMDEC或Cum.δ(i)大於MDE累積改變臨限值的相同時間。在步驟816處，處理器302可將最佳停止點時間Ti儲存在資料庫306中且將最佳停止點時間Ti發送至伺服器304以用於主動A/B測試或實驗測試設計以在最佳停止點時間Ti處停止、終止或結束。
然而，當處理器302判定時間Ti處的IMDEC或δ(i)等於或大於AMDEC(步驟806--否)，或時間Ti處的CMDEC或Cum.δ(i)小於或等於MDE累積改變臨限值時，則在步驟818處，處理器302可判定i+1是否小於MDE趨勢資料點的總數目(N)。處理器302可已自資料庫306或自MDE趨勢資料點獲得MDE趨勢資料點的總數目(N)。當處理器302判定i+1小於MDE趨勢資料點的總數目(步驟818--是)時，則在步驟820處，處理器302可使i遞增，其中i增加一個單位。由於條件i+1小於MDE趨勢資料點的總數目(N)，故處理器302可重複步驟802至步驟806或步驟802至步驟810。然而，當處理器302判定i+1等於MDE趨勢資料點的總數目(N)(步驟818--否)時，則在步驟822處，處理器302可等待來自伺服器304的更新MDE趨勢資料。
圖9描繪與所揭露實施例一致的樣本最佳停止時間判定條件。圖9將幫助描述用於在判定最佳停止點時的給定使用情況的不同條件。舉例而言，訂單履行公司的網頁上的A/B測試可經設定以運行21天，其中客戶關於產品的銷售的反應經由網頁的元素的兩個變化追蹤。考慮其中網頁上的A/B測試可已在過去5天內運行的例示性情形，且可每天收集網頁的變化上的資料。
水平軸線902可表示在天數方面的時間，且豎直軸線904可表示每天追蹤的MDE資料904。基於伺服器304上的在過去5天內自A/B測試收集的資料，可在A/B測試可經排程以運行總計21天的條件下自第1天至第21天產生MDE趨勢資料906。因此，MDE趨勢資料曲線906可具有1天的具有遞增的總計21個資料點。處理器302可基於來自第1天及第21天的資料而判定AMDEC 908。此外，處理器302可在910中的條件1下判定IMDEC1，其小於AMDEC 908。此外，處理器302可判定在910中的條件1下，CMDEC1小於(例如)來自第1天及第21天的MDE中的差異的88%(MDE累積改變臨限值)。因此，處理器302可未找到條件1為最佳停止點時間，此是因為不滿足預測最佳停止點時間的所需兩個條件，所述條件為IMDEC1必須小於AMDEC 908，且CMDEC1必須大於(例如)來自第1天及第21天的MDE中的差異的88%(MDE累積改變臨限值)。類似地，在912中的條件2下，處理器302可判定IMDEC2大於AMDEC 908，但CMDEC2大於(例如)來自第1天及第21天的MDE中的差異的88%。因此，處理器302可未找到條件2為最佳停止點時間，此是因為不滿足預測最佳停止點時間的所需兩個條件，所述條件為IMDEC2必須小於AMDEC 908，且CMDEC2必須大於(例如)來自第1天及第21天的MDE中的差異的88%(MDE累積改變臨限值)。在條件3914處，處理器302可判定IMDEC3小於AMDEC 908，且CMDEC3大於(例如)來自第1天及第21天的MDE中的差異的88%(MDE累積改變臨限值)；因此，處理器302將提取條件3914下的最佳停止點時間(T)且將其發送至伺服器304。最佳停止點時間(T)可為第15天；因此，第15天的A/B測試將在最佳停止點時間由處理器302判定的條件下終止。此將允許訂單履行公司在進行A/B測試20天時不花費不必要的資源，此是由於15天可足以達到A/B測試可已提供在偵測MDE的減小及邊際收益以知道運行超過15天是否將不值得的方面的足夠樣本大小(測試能力)的判定。
儘管已參考本揭露內容的特定實施例繪示及描述本揭露內容，但應理解，可在不修改的情況下在其他環境中實踐本揭露內容。已出於示出的目的呈現前述描述。前述描述並不詳盡且不限於所揭露的精確形式或實施例。修改及調適對所屬技術領域中具有通常知識者將自本說明書的考量及所揭露實施例的實踐顯而易見。另外，儘管將所揭露實施例的態樣描述為儲存於記憶體中，但所屬技術領域中具有通常知識者應瞭解，此等態樣亦可儲存於其他類型的電腦可讀媒體上，諸如次級儲存裝置，例如硬碟或CD ROM，或其他形式的RAM或ROM、USB媒體、DVD、藍光，或其他光碟機媒體。
基於書面描述及所揭露方法的電腦程式在有經驗開發者的技能內。各種程式或程式模組可使用所屬技術領域中具有通常知識者已知的技術中的任一者來創建或可結合現有軟體來設計。 舉例而言，程式區段或程式模組可以或藉助於.Net框架(.Net Framework)、.Net緊密框架(.Net Compact Framework)(及相關語言，諸如視覺培基(Visual Basic)、C等)、爪哇(Java)、C++、目標-C(Objective-C)、HTML、HTML/AJAX組合、XML或包含爪哇小程式的HTML來設計。
此外，儘管本文中已描述示出性實施例，但所屬技術領域中具有通常知識者將基於本揭露內容瞭解具有等效元件、修改、省略、(例如，各種實施例中的態樣的)組合、調適及/或更改的任何及所有實施例的範圍。申請專利範圍中的限制應基於申請專利範圍中所採用的語言來廣泛地解釋，且不限於本說明書中所描述或在本申請案的審查期間的實例。實例應視為非排他性的。另外，所揭露方法的步驟可以包含藉由對步驟重新排序及/或插入或刪除步驟的任何方式修改。因此，希望僅將本說明書及實例視為示出性的，其中藉由以下申請專利範圍及其等效物的完整範圍指示真實範圍及精神。
100:方塊圖/系統
300:系統
302:處理器
304:伺服器
306:資料庫

Claims (19)

  1. 一種用於在實驗測試期間預測最佳停止點的電腦實行系統，所述系統包括：記憶體，儲存指令；以及至少一或多個處理器，經組態以執行所述指令以進行包括以下的步驟：獲得伺服器上的主動實驗測試設計的總測試時間；自所述伺服器上的所述主動實驗測試設計獲得所述總測試時間內的最低可偵測效應趨勢資料；判定與所述最低可偵測效應趨勢資料相關聯的所述總測試時間內的平均最低可偵測效應改變；判定與所述最低可偵測效應趨勢資料相關聯的所述總測試時間內的最低可偵測效應累積改變臨限值；判定與所述最低可偵測效應趨勢資料相關聯的所述總測試時間內的多個瞬時最低可偵測效應改變；判定與所述多個瞬時最低可偵測效應改變相關聯的多個累積最低可偵測效應改變；基於所述平均最低可偵測效應改變、所述多個瞬時最低可偵測效應改變以及所述最低可偵測效應累積改變臨限值而判定最佳停止點時間；以及將所述最佳停止點時間提供至所述伺服器以用於結束所述主動實驗測試設計。
  2. 如請求項1所述的系統，其中所述至少一或多個處理器進一步經組態以進行包括以下的步驟： 自所述伺服器獲得最小可偵測效應趨勢資料點的總數目；其中所述最低可偵測效應趨勢資料由所述最小可偵測效應趨勢資料點的總數目離散化。
  3. 如請求項1所述的系統，其中所述平均最低可偵測效應改變為所述總測試時間內的斜率；且其中所述最低可偵測效應累積改變臨限值為所述總測試時間內的最低可偵測效應中的差異的百分率。
  4. 如請求項1所述的系統，其中所述多個瞬時最低可偵測效應改變為最低可偵測效應趨勢資料的多個瞬時斜率。
  5. 如請求項1所述的系統，其中所述至少一或多個處理器進一步經組態以進行包括以下的步驟：自所述伺服器獲得最小可偵測效應趨勢資料點的總數目；其中在每一所述最小可偵測效應趨勢資料點的總數目下評估所述多個瞬時最低可偵測效應改變。
  6. 如請求項1所述的系統，其中所述多個累積最低可偵測效應改變為所述多個瞬時最低可偵測效應改變的聚集。
  7. 如請求項1所述的系統，其中所述至少一或多個處理器進一步經組態以進行包括以下的步驟：自所述伺服器獲得最小可偵測效應趨勢資料點的總數目；其中在每一所述最小可偵測效應趨勢資料點的總數目下評估所述多個累積最低可偵測效應改變。
  8. 如請求項1所述的系統，其中所述至少一或多個處理器進一步經組態以進行包括以下的步驟：將所述總測試時間、所述最低可偵測效應累積改變臨限值、 所述最低可偵測效應趨勢資料、所述平均最低可偵測效應改變、所述多個瞬時最低可偵測效應改變、所述多個累積最低可偵測效應改變以及所述最佳停止點時間儲存在資料庫中。
  9. 如請求項8所述的系統，其中當與來自所述資料庫的所述最佳停止點時間相關聯的瞬時最低可偵測效應改變小於所述平均最低可偵測效應改變，且具有來自所述資料庫的所述最佳停止點時間的累積最低可偵測效應改變大於所述最低可偵測效應累積改變臨限值時，判定所述最佳停止點時間。
  10. 如請求項1所述的系統，進一步經組態以用於所述至少一或多個處理器以進行包括以下的步驟：偵測所述伺服器上的更新的最低可偵測效應趨勢資料；其中基於來自所述主動實驗測試設計的所述更新的最低可偵測效應趨勢資料而判定所述最佳停止點時間。
  11. 一種用於在實驗測試期間預測最佳停止點的電腦實行方法：獲得伺服器上的主動實驗測試設計的總測試時間；自所述伺服器上的所述主動實驗測試設計獲得所述總測試時間內的最低可偵測效應趨勢資料；判定與所述最低可偵測效應趨勢資料相關聯的所述總測試時間內的平均最低可偵測效應改變；判定與所述最低可偵測效應趨勢資料相關聯的所述總測試時間內的最低可偵測效應累積改變臨限值；判定與所述最低可偵測效應趨勢資料相關聯的所述總測試時間內的多個瞬時最低可偵測效應改變； 判定與所述多個瞬時最低可偵測效應改變相關聯的多個累積最低可偵測效應改變；基於所述平均最低可偵測效應改變、所述多個瞬時最低可偵測效應改變以及所述最低可偵測效應累積改變臨限值而判定最佳停止點時間；以及將所述最佳停止點時間提供至所述伺服器以用於結束所述主動實驗測試設計。
  12. 如請求項11所述的方法，所述方法更包括：自所述伺服器獲得最小可偵測效應趨勢資料點的總數目；其中所述最低可偵測效應趨勢資料由所述最小可偵測效應趨勢資料點的總數目離散化。
  13. 如請求項11所述的方法，其中所述平均最低可偵測效應改變為所述總測試時間內的斜率；且其中所述最低可偵測效應累積改變臨限值為所述總測試時間內的最低可偵測效應中的差異的百分率。
  14. 如請求項11所述的方法，其中所述多個瞬時最低可偵測效應改變為最低可偵測效應趨勢資料的多個瞬時斜率。
  15. 如請求項11所述的方法，所述方法更包括：自所述伺服器獲得最小可偵測效應趨勢資料點的總數目；其中在每一所述最小可偵測效應趨勢資料點的總數目下評估所述多個瞬時最低可偵測效應改變。
  16. 如請求項11所述的方法，其中所述多個累積最低可偵測效應改變為所述多個瞬時最低可偵測效應改變的聚集。
  17. 如請求項11所述的方法，所述方法更包括： 自所述伺服器獲得最小可偵測效應趨勢資料點的總數目；其中在每一所述最小可偵測效應趨勢資料點的總數目下評估所述多個累積最低可偵測效應改變。
  18. 如請求項11所述的方法，所述方法更包括：將所述總測試時間、所述最低可偵測效應累積改變臨限值、所述最低可偵測效應趨勢資料、所述平均最低可偵測效應改變、所述多個瞬時最低可偵測效應改變、所述多個累積最低可偵測效應改變以及所述最佳停止點時間儲存在資料庫中。
  19. 如請求項18所述的方法，其中當與來自所述資料庫的所述最佳停止點時間相關聯的瞬時最低可偵測效應改變小於所述平均最低可偵測效應改變，且與來自所述資料庫的所述最佳停止點時間相關聯的累積最低可偵測效應改變大於所述最低可偵測效應累積改變臨限值時，判定所述最佳停止點時間。
TW110100267A 2020-08-26 2021-01-05 用於在實驗測試期間預測最佳停止點的電腦實行系統以及方法 TWI773077B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/003,705 2020-08-26
US17/003,705 US20220067762A1 (en) 2020-08-26 2020-08-26 System and method for predicting an optimal stop point during an experiment test

Publications (2)

Publication Number Publication Date
TW202209847A TW202209847A (zh) 2022-03-01
TWI773077B true TWI773077B (zh) 2022-08-01

Family

ID=80352774

Family Applications (2)

Application Number Title Priority Date Filing Date
TW111124573A TW202241090A (zh) 2020-08-26 2021-01-05 用於在實驗測試期間預測最佳停止點的電腦實行系統以及方法
TW110100267A TWI773077B (zh) 2020-08-26 2021-01-05 用於在實驗測試期間預測最佳停止點的電腦實行系統以及方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
TW111124573A TW202241090A (zh) 2020-08-26 2021-01-05 用於在實驗測試期間預測最佳停止點的電腦實行系統以及方法

Country Status (4)

Country Link
US (1) US20220067762A1 (zh)
KR (2) KR102385928B1 (zh)
TW (2) TW202241090A (zh)
WO (1) WO2022043768A1 (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI457843B (zh) * 2010-04-30 2014-10-21 Applied Materials Inc 監控處理設備之方法及記錄相關指令的電腦可讀取媒體
CN107092235A (zh) * 2016-02-18 2017-08-25 发那科株式会社 加工时间预测装置
TWI659258B (zh) * 2018-05-23 2019-05-11 亞智科技股份有限公司 蝕刻時間偵測方法及蝕刻時間偵測系統
TW201946136A (zh) * 2018-03-13 2019-12-01 美商應用材料股份有限公司 用於半導體處理監視的機器學習系統
US20200167691A1 (en) * 2017-06-02 2020-05-28 Google Llc Optimization of Parameter Values for Machine-Learned Models

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002259464A (ja) * 2001-02-28 2002-09-13 Toshiba Corp 実験計画法の支援装置、方法及びプログラム
JP3959980B2 (ja) * 2001-04-26 2007-08-15 三菱ふそうトラック・バス株式会社 実験計画法に基づくデータ解析方法および装置並びに実験計画法に基づくデータ解析プログラムおよび同プログラムを記録したコンピュータ読み取り可能な記録媒体
KR20050103631A (ko) * 2004-04-27 2005-11-01 브이피코리아 주식회사 인터넷을 이용한 통계분석 시스템의 실험계획법 운영방법
US8321359B2 (en) * 2007-07-24 2012-11-27 Hiconversion, Inc. Method and apparatus for real-time website optimization
US8234632B1 (en) * 2007-10-22 2012-07-31 Google Inc. Adaptive website optimization experiment
EP2282458A1 (en) * 2009-07-17 2011-02-09 BRITISH TELECOMMUNICATIONS public limited company Usage policing in data networks
US9411573B2 (en) * 2012-10-11 2016-08-09 Google Inc. Testing framework for applications
US20140337694A1 (en) * 2013-05-13 2014-11-13 Lior Haramaty Method for automatically optimizing the effectiveness of a website
US20150193399A1 (en) * 2014-01-09 2015-07-09 Nokia Corporation Method and apparatus for determining partial updates for a document object model
US11269576B2 (en) * 2015-08-11 2022-03-08 Optimizely, Inc. Determining variations of content to provide to users in variation testing of content
US9760471B2 (en) * 2015-09-23 2017-09-12 Optimizely, Inc. Implementing a reset policy during a sequential variation test of content
US11042603B2 (en) * 2016-11-09 2021-06-22 Adobe Inc. Sequential hypothesis testing in a digital medium environment using continuous data
US10255173B2 (en) * 2016-12-27 2019-04-09 Optimizely, Inc. Experimentation in internet-connected applications and devices
WO2018211617A1 (ja) * 2017-05-17 2018-11-22 日本電気株式会社 実験計画最適化装置、実験計画最適化方法および実験計画最適化プログラム
JP2019185591A (ja) * 2018-04-16 2019-10-24 株式会社日立製作所 実験支援装置及び実験支援方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI457843B (zh) * 2010-04-30 2014-10-21 Applied Materials Inc 監控處理設備之方法及記錄相關指令的電腦可讀取媒體
CN107092235A (zh) * 2016-02-18 2017-08-25 发那科株式会社 加工时间预测装置
US20200167691A1 (en) * 2017-06-02 2020-05-28 Google Llc Optimization of Parameter Values for Machine-Learned Models
TW201946136A (zh) * 2018-03-13 2019-12-01 美商應用材料股份有限公司 用於半導體處理監視的機器學習系統
TWI659258B (zh) * 2018-05-23 2019-05-11 亞智科技股份有限公司 蝕刻時間偵測方法及蝕刻時間偵測系統

Also Published As

Publication number Publication date
KR102385928B1 (ko) 2022-06-23
US20220067762A1 (en) 2022-03-03
WO2022043768A1 (en) 2022-03-03
KR20220046541A (ko) 2022-04-14
KR20220029793A (ko) 2022-03-08
TW202209847A (zh) 2022-03-01
TW202241090A (zh) 2022-10-16

Similar Documents

Publication Publication Date Title
TWI759824B (zh) 自動遞送任務指派的系統、用於臨時遞送員工的自動遞送任務指派的方法以及非暫時性電腦可讀媒體
TWI825601B (zh) 用於出站預測之電腦實施方法以及用於包裹遞送的電腦實施系統
TWI817289B (zh) 用於即時監控存貨轉移的電腦實行的系統以及方法
TWI801861B (zh) 根據產品特性決定產品價格的倉儲管理電腦實行系統以及方法
TWI759823B (zh) 使用入站裝載模式於出站預測之電腦實施系統以及電腦實施方法
TWI813926B (zh) 用於網頁顯示修正的電腦化系統及方法
TWI771861B (zh) 用於管理與監控服務及模組的電腦實行系統以及方法
KR20210024946A (ko) 데이터의 동적 집계와 데이터 손실의 최소화를 위한 시스템 및 방법
TWI795913B (zh) 用於出站預測的電腦實施的系統以及方法
TWI759892B (zh) 自動遞送工作者指配的電腦化系統、電腦化方法及系統
TWI731618B (zh) 電腦實施系統及電腦實施方法
TWI824924B (zh) 電腦實施系統以及電腦實施方法
TW202305678A (zh) 基於人工智慧產生入站規畫之電腦實施系統以及電腦實施方法
US20220230223A1 (en) Computerized systems and methods for using artificial intelligence to generate product recommendations
TWI773077B (zh) 用於在實驗測試期間預測最佳停止點的電腦實行系統以及方法
TW202147203A (zh) 用於追蹤線上社群的電腦實行系統以及方法
TWI766531B (zh) 電腦實行系統以及方法
TWI824221B (zh) 用於線上顧客協助的電腦實行系統及電腦實行方法
TWI760982B (zh) 透過進行小波轉換產生需求預測數據用於產生準確訂購單之電腦實行系統以及方法
TWI834101B (zh) 用於低潛時聚合資料供應的電腦實施的系統與用於區域需求估計的電腦實施的系統以及方法
TWI829592B (zh) 智慧型利潤差額決定與反應調整電腦實行系統以及方法
US20220067122A1 (en) System and method for capping outliers during an experiment test