TWI771841B - 基於競爭神經字元語言模式斷詞之系統以及方法 - Google Patents

基於競爭神經字元語言模式斷詞之系統以及方法 Download PDF

Info

Publication number
TWI771841B
TWI771841B TW109145981A TW109145981A TWI771841B TW I771841 B TWI771841 B TW I771841B TW 109145981 A TW109145981 A TW 109145981A TW 109145981 A TW109145981 A TW 109145981A TW I771841 B TWI771841 B TW I771841B
Authority
TW
Taiwan
Prior art keywords
vector
embedding
characters
output
vectors
Prior art date
Application number
TW109145981A
Other languages
English (en)
Other versions
TW202143150A (zh
Inventor
舒思 余
晶 李
Original Assignee
南韓商韓領有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 南韓商韓領有限公司 filed Critical 南韓商韓領有限公司
Publication of TW202143150A publication Critical patent/TW202143150A/zh
Application granted granted Critical
Publication of TWI771841B publication Critical patent/TWI771841B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/31—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3347—Query execution using vector based model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/268—Morphological analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0603—Catalogue ordering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q10/087—Inventory or stock management, e.g. order filling, procurement or balancing against orders

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Economics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Strategic Management (AREA)
  • Marketing (AREA)
  • Development Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Databases & Information Systems (AREA)
  • Operations Research (AREA)
  • Tourism & Hospitality (AREA)
  • Quality & Reliability (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Human Resources & Organizations (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Machine Translation (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本發明提供用於偵測產品品名中的不準確性的系統及方法，包括：藉由對與產品相關聯的品名運行字串演算法識別與產品相關聯的至少一個產品類型；使用機器學習演算法基於品名預測與產品相關聯的至少一個產品類型；基於識別或預測中的至少一者偵測品名中的不準確；以及將指示品名包括不準確性的訊息輸出至遠端裝置。運行字串演算法可包括接收字串集合，基於接收到的字串集合產生樹狀結構，接收品名，以及使用品名遍歷所產生樹狀結構以發現匹配。機器學習演算法可包括識別品名中的詞，學習每一詞的每一字元n元語法的向量表示，以及求和每一字元n元語法。

Description

基於競爭神經字元語言模式斷詞之系統以及方法
本揭露內容大體上是關於基於競爭神經字元語言模式斷詞的系統及方法。特定而言，本揭露內容的實施例是關於基於競爭神經字元語言模式無監督斷詞以將產品品名自動地分段成詞的發明性及非習知系統。
消費者常常經由電腦及智慧型裝置線上採購及購買各種物件。這些線上購物者通常依賴於文字搜尋來找到要購買的產品。舉例而言，在線購物者通常以產品品名及/或產品別名來搜尋產品。因此，零售商通常按產品品名及/或產品別名來分類待售產品，以便在線上購物者搜尋要購買的產品時提供準確結果。
為了以產品品名及/或產品別名分類產品，許多零售商依賴於受監督斷詞方法來將產品品名分段成可搜尋關鍵詞。然而，受監督斷詞方法可能並未恰當地遵從自然語言語法，因此，可能不適合於某些語言，包含但不限於亞洲語言。因此，產品品名可能並未恰當地分段成準確關鍵詞，由此不正確地分類待購產品且最終阻 礙消費者的網路購物體驗。另外，在線上購物者藉由輸入文字來搜尋特定產品時，將所述文字不恰當地分段成詞可阻礙零售商提供準確搜尋結果的能力。另外，不當斷詞可阻礙零售商為消費者推薦相關產品以供購買的能力。
因此，不當斷詞可因延長消費者的產品搜尋且因降低線上平台的推薦品質而嚴重降低消費者的使用者體驗。若線上平台自動地使產品品名分段成恰當、準確的關鍵詞，則消費者的使用者體驗將顯著地改良。
因此，需要用於產品品名的無監督斷詞的改良方法及系統，使得消費者可在線上購物時快速找到且購買產品。
本揭露內容的一個態樣涉及一種用於斷詞的電腦實行系統。系統可包括：至少一個處理器；以及至少一個非暫時性儲存媒體，包括在由至少一個處理器執行時使得至少一個處理器執行步驟的指令。步驟可包括：接收多個字元以供分段；使用嵌入模型將多個字元中的字元轉換成嵌入向量；將嵌入向量及第一上下文嵌入向量序列饋入至前向語言模式中；將嵌入向量及第二上下文嵌入向量序列饋入至反向語言模式中；將嵌入向量與第一輸出向量及第二輸出向量進行比較；以及基於比較分段多個字元。前向語言模式可經組態以輸出第一輸出向量，且反向語言模式可經組態以輸出第二輸出向量。將嵌入向量與第一輸出向量及第二輸出向量進行比較可包括判定嵌入向量與第一輸出向量及第二輸出向量中的每一者之間的歐幾里德距離(Euclidean distance)的反向指數。
在一些實施例中，嵌入模型可包括投影層及柔性最大傳遞函數(softmax)分類器層。在其他實施例中，前向語言模式及反向語言模式可包括循環神經網路(Recurrent Neural Network；RNN)。另外或替代地，前向語言模式及反向語言模式可包括閘控循環單元(Gated Recurrent Unit；GRU)或長短期記憶網路(Long Short-Term Memory；LSTM)中的至少一者。
在一些實施例中，第一上下文嵌入向量序列可包括與在所述字元之前的預定數目個字元相關聯的向量序列。在一些實施例中，第二上下文嵌入向量序列可包括與在所述字元之後的預定數目個字元相關聯的向量序列。在一些實施例中，至少一個處理器可經組態以執行所述指令以在嵌入向量與第一輸出向量之間的歐幾里德距離的反向指數大於嵌入向量與第二輸出向量之間的歐幾里德距離的反向指數時，使字元與在所述字元之前的預定數目個字元配對。在其他實施例中，至少一個處理器可經組態以執行所述指令以在嵌入向量與第二輸出向量之間的歐幾里德距離的反向指數大於嵌入向量與第一輸出向量之間的歐幾里德距離的反向指數時，使字元與在所述字元之後的預定數目個字元配對。
在一些實施例中，至少一個處理器可經組態以執行所述指令以針對用於分段的多個字元中的每一者重複轉換、饋入、比較以及分段的步驟直至每一字元屬於一詞。在一些實施例中，至少一個處理器可經組態以執行所述指令以基於多個字元中的字元的數目及平均字長來預測多個字元中的分段的數目。
本揭露內容的另一態樣涉及一種用於斷詞的方法。方法可包括：接收多個字元以供分段；使用嵌入模型將多個字元中的字 元轉換成嵌入向量；將嵌入向量及第一上下文嵌入向量序列饋入至前向語言模式中；將嵌入向量及第二上下文嵌入向量序列饋入至反向語言模式中；將嵌入向量與第一輸出向量及第二輸出向量進行比較；以及基於比較分段多個字元。前向語言模式可經組態以輸出第一輸出向量，且反向語言模式可經組態以輸出第二輸出向量。將嵌入向量與第一輸出向量及第二輸出向量進行比較可包括判定嵌入向量與第一輸出向量及第二輸出向量中的每一者之間的歐幾里德距離的反向指數。
在一些實施例中，嵌入模型可包括投影層及柔性最大傳遞函數分類器層。在其他實施例中，前向語言模式及反向語言模式可包括循環神經網路(RNN)。另外或替代地，前向語言模式及反向語言模式可包括閘控循環單元(GRU)或長短期記憶網路(LSTM)中的至少一者。
在一些實施例中，第一上下文嵌入向量序列可包括與在所述字元之前的預定數目個字元相關聯的向量序列。在一些實施例中，第二上下文嵌入向量序列可包括與在所述字元之後的預定數目個字元相關聯的向量序列。在一些實施例中，至少一個處理器可經組態以執行所述指令以在嵌入向量與第一輸出向量之間的歐幾里德距離的反向指數大於嵌入向量與第二輸出向量之間的歐幾里德距離的反向指數時，使字元與在所述字元之前的預定數目個字元配對。在其他實施例中，至少一個處理器可經組態以執行所述指令以在嵌入向量與第二輸出向量之間的歐幾里德距離的反向指數大於嵌入向量與第一輸出向量之間的歐幾里德距離的反向指數時，使字元與在所述字元之後的預定數目個字元配對。
在一些實施例中，至少一個處理器可經組態以執行所述指令以針對用於分段的多個字元中的每一者重複轉換、饋入、比較以及分段的步驟直至每一字元屬於一詞。在一些實施例中，至少一個處理器可經組態以執行所述指令以基於多個字元中的字元的數目及平均字長來預測多個字元中的分段的數目。
本揭露內容的又一態樣涉及一種用於斷詞的電腦實行系統。系統可包括：至少一個處理器；以及至少一個非暫時性儲存媒體，包括在由至少一個處理器執行時使得至少一個處理器執行步驟的指令。步驟可包括：接收多個字元以供分段；使用嵌入模型將多個字元中的字元轉換成嵌入向量；將嵌入向量及第一上下文嵌入向量序列饋入至前向語言模式中；將嵌入向量及第二上下文嵌入向量序列饋入至反向語言模式中；將嵌入向量與第一輸出向量及第二輸出向量進行比較；以及基於比較分段多個字元。前向語言模式可經組態以輸出第一輸出向量，且反向語言模式可經組態以輸出第二輸出向量。第一上下文嵌入向量序列可包括與在所述字元之前的預定數目個字元相關聯的向量序列。第二上下文嵌入向量序列可包括與在所述字元之後的預定數目個字元相關聯的向量序列。將嵌入向量與第一輸出向量及第二輸出向量進行比較可包括判定嵌入向量與第一輸出向量及第二輸出向量中的每一者之間的歐幾里德距離的反向指數。
本文亦論述其他系統、方法以及電腦可讀媒體。
100、300:系統
101:運送授權技術系統
102A、107A、107B、107C、119A、119B、119C:行動裝置
102B:電腦
103:外部前端系統
105:內部前端系統
107:運輸系統
109:賣方入口網站
111:運送及訂單追蹤系統
113:履行最佳化系統
115:履行通信報閘道
117:供應鏈管理系統
119:倉庫管理系統
121A、121B、121C:第3方履行系統
123:履行中心授權系統
125:勞動管理系統
200、1400:履行中心
201、222:卡車
202A、202B、208:物件
203:入站區
205:緩衝區
206:叉車
207:卸貨區
209:揀貨區
210:儲存單元
211:包裝區
213:樞紐區
214:運輸機構
215:營地區
216:牆
217:定位系統
217A、217B、217C、1450:感測器
218、220:包裹
224A、224B:遞送工作者
226:汽車
301:斷詞系統
302:網路
303:伺服器
304、309:資料庫
305:處理器
306:嵌入模型
307、504:前向語言模式
308、505:反向語言模式
400:方法
401、402、403、404、405、406:方塊
501a、501b、501c、501d、501e:字元
502:嵌入層
503a、503b、503c、503d、503e:向量
506:第一輸出向量
507:第二輸出向量
508:分段
圖1A為與所揭露實施例一致的示出包括用於實現運送、運輸以及物流操作的通信的電腦化系統的網路的例示性實施例的示意性方塊圖。
圖1B描繪與所揭露實施例一致的包含滿足搜尋請求的一或多個搜尋結果以及交互式使用者介面元素的樣本搜尋結果頁(Search Result Page；SRP)。
圖1C描繪與所揭露實施例一致的包含產品及關於所述產品的資訊以及交互式使用者介面元素的樣本單一顯示頁(Single Display Page；SDP)。
圖1D描繪與所揭露實施例一致的包含虛擬購物車中的物件以及交互式使用者介面元素的樣本購物車頁。
圖1E描繪與所揭露實施例一致的包含來自虛擬購物車的物件以及關於購買及運送的資訊以及交互式使用者介面元素的樣本訂單頁。
圖2為與所揭露實施例一致的經組態以利用所揭露電腦化系統的例示性履行中心的圖解圖示。
圖3為示出與所揭露實施例一致的包括用於斷詞的電腦化系統的系統的例示性實施例的示意性方塊圖。
圖4為示出與所揭露實施例一致的用於斷詞的方法的例示性實施例的流程圖。
圖5為示出與所揭露實施例一致的使用競爭神經字元語言模式來執行無監督斷詞的方法的例示性實施例的圖式。
以下詳細描述參考隨附圖式。只要可能，即在圖式及以下描述中使用相同附圖標號來指代相同或類似部分。儘管本文中描述若干示出性實施例，但修改、調適以及其他實施是可能的。舉例而言，可對圖式中所示出的組件及步驟進行替代、添加或修改，且可藉由取代、重新排序、移除步驟或將步驟添加至所揭露方法來修改本文中所描述的示出性方法。因此，以下詳細描述不限於所揭露實施例及實例。實情為，本發明的正確範圍由隨附申請專利範圍界定。
本揭露內容的實施例是關於經組態用於斷詞的系統及方法。所揭露實施例有利地能夠使用競爭神經字元語言模式來例如對產品品名自動地執行無監督斷詞。
在一個實施中，預處理系統可預處理自訓練資料系統接收到的初始訓練資料以產生合成訓練資料。舉例而言，可使用方法的任何組合來預處理基於文字的初始訓練資料，包含停止詞消除、關鍵字標記化、關鍵字的去重以及初始訓練資料的擴增，且可使用影像擴增技術(例如，PyTorch)來預處理基於影像的初始訓練資料。階層式模型訓練器系統可接收由預處理系統產生的基於文字的合成訓練資料，且影像模型訓練器系統可接收由預處理系統產生的基於影像的合成訓練資料。階層式模型訓練器系統及影像模型訓練器可使用接收到的用於產品分類的合成資料分別產生及訓練至少一個階層式模型及至少一個影像模型。
在一些實施例中，產品類別預測器可接收與第一未分類產品相關聯的資訊。舉例而言，當試圖註冊產品時，可提示賣方輸入包含產品名稱、屬性值、製造商、品牌以及型號的序連文字串。 產品類別預測器可接收預測具有最高總機率得分的數個類別的請求。產品類別預測器可使用階層式模型藉由遞回地計算潛在類別及子類別的機率得分來預測第一未分類產品的最相關類別。產品類別預測器可隨後將未分類產品分選至具有最高總機率得分的類別中的一或多者中。
參考圖1A，繪示示出包括用於實現運送、運輸以及物流操作的通信的電腦化系統的系統100的例示性實施例。如圖1A中所示出，系統100可包含各種系統，所述系統中的每一者可經由一或多個網路彼此連接。所述系統亦可經由直接連接(例如，使用電纜)彼此連接。所描繪系統包含運送授權技術(shipment authority technology；SAT)系統101、外部前端系統103、內部前端系統105、運輸系統107、行動裝置107A、行動裝置107B以及行動裝置107C、賣方入口網站109、運送及訂單追蹤(shipment and order tracking；SOT)系統111、履行最佳化(fulfillment optimization；FO)系統113、履行通信報閘道(fulfillment messaging gateway；FMG)115、供應鏈管理(supply chain management；SCM)系統117、倉庫管理系統119、行動裝置119A、行動裝置119B以及行動裝置119C(描繪為在履行中心(FC)200內部)、第3方履行系統121A、第3方履行系統121B以及第3方履行系統121C、履行中心授權系統(fulfillment center authorization；FC Auth)123以及勞動管理系統(labor management system；LMS)125。
在一些實施例中，SAT系統101可實行為監視訂單狀態及遞送狀態的電腦系統。舉例而言，SAT系統101可判定訂單是否超過其承諾遞送日期(PDD)且可採取適當的動作，包含發起新 訂單、對未遞送訂單中的物件進行重新運送、取消未遞送訂單、發起與訂購客戶的連絡，或類似者。SAT系統101亦可監視其他資料，包含輸出(諸如在特定時間段期間運送的包裹的數目)及輸入(諸如接收到的用於運送的空紙板盒的數目)。SAT系統101亦可充當系統100中的不同裝置之間的閘道，從而(例如，使用儲存及轉發或其他技術)實現諸如外部前端系統103及FO系統113的裝置之間的通信。
在一些實施例中，外部前端系統103可實行為使得外部使用者能夠與系統100中的一或多個系統交互的電腦系統。舉例而言，在系統100使得系統的呈現能夠允許使用者針對物件下訂單的實施例中，外部前端系統103可實行為接收搜尋請求、呈現物件頁以及索求支付資訊的網頁伺服器。舉例而言，外部前端系統103可實行為電腦或電腦運行軟體，諸如阿帕奇(Apache)HTTP伺服器、微軟網際網路資訊服務(Internet Information Service；IIS)、NGINX，或類似者。在其他實施例中，外部前端系統103可運行經設計以接收及處理來自外部裝置(例如，行動裝置102A或電腦102B)的請求、基於彼等請求自資料庫及其他資料儲存庫獲取資訊，以及基於所獲取的資訊將回應提供至接收到的請求的定製網頁伺服器軟體。
在一些實施例中，外部前端系統103可包含網頁快取系統、資料庫、搜尋系統或支付系統中的一或多者。在一個態樣中，外部前端系統103可包括這些系統中的一或多者，而在另一態樣中，外部前端系統103可包括連接至這些系統中的一或多者的介面(例如，伺服器至伺服器、資料庫至資料庫，或其他網路連接)。
藉由圖1B、圖1C、圖1D以及圖1E所示出的例示性步驟集合將有助於描述外部前端系統103的一些操作。外部前端系統103可自系統100中的系統或裝置接收資訊以供呈現及/或顯示。舉例而言，外部前端系統103可代管或提供一或多個網頁，包含搜尋結果頁(SRP)(例如，圖1B)、單一詳情頁(Single Detail Page；SDP)(例如，圖1C)、購物車頁(例如，圖1D)，或訂單頁(例如，圖1E)。(例如，使用行動裝置102A或電腦102B的)使用者裝置可導航至外部前端系統103且藉由將資訊輸入至搜尋盒中來請求搜尋。外部前端系統103可向系統100中的一或多個系統請求資訊。舉例而言，外部前端系統103可向FO系統113請求滿足搜尋請求的資訊。外部前端系統103亦可(自FO系統113)請求及接收包含於搜尋結果中的每一產品的承諾遞送日期或「PDD」。在一些實施例中，PDD可表示在特定時間段內(例如，在一天結束(下午11：59)前)訂購的情況下對含有產品的包裹將何時抵達使用者的所要位置或承諾將產品遞送至使用者的所要位置處的日期的估計。(PDD在下文相對於FO系統113進一步論述。)
外部前端系統103可基於資訊來準備SRP(例如，圖1B)。SRP可包含滿足搜尋請求的資訊。舉例而言，此可包含滿足搜尋請求的產品的圖像。SRP亦可包含每一產品的各別價格，或與每一產品的增強遞送選項、PDD、重量、大小、報價、折扣或類似者相關的資訊。外部前端系統103可(例如，經由網路)將SRP發送至請求使用者裝置。
使用者裝置可接著例如藉由點選或輕觸使用者介面或使 用另一輸入裝置自SRP選擇產品，以選擇表示於SRP上的產品。使用者裝置可製訂對關於所選產品的資訊的請求且將其發送至外部前端系統103。作為回應，外部前端系統103可請求與所選產品相關的資訊。舉例而言，資訊可包含除針對各別SRP上的產品呈現的資訊以外的額外資訊。此可包含例如保存期限、原產國、重量、大小、包裹中的物件的數目、處置說明，或關於產品的其他資訊。資訊亦可包含類似產品的推薦(基於例如巨量資料及/或對購買此產品及至少一個其他產品的客戶的機器學習分析)、頻繁詢問的問題的答案、來自客戶的評論、製造商資訊、圖像，或類似者。
外部前端系統103可基於接收到的產品資訊來準備SDP(單一詳情頁)(例如，圖1C)。SDP亦可包含其他交互式元素，諸如「現在購買」按鈕、「添加至購物車」按鈕、數量欄、物件的圖像，或類似者。SDP可更包含提供產品的賣方的清單。可基於每一賣方提供的價格來對清單進行排序，使得可在頂部處列出提供以最低價格出售產品的賣方。亦可基於賣方排名來對清單進行排序，使得可在頂部處列出排名最高的賣方。可基於多個因素來製訂賣方排名，所述因素包含例如賣方的符合承諾PDD的過去的追蹤記錄。外部前端系統103可(例如，經由網路)將SDP遞送至請求使用者裝置。
請求使用者裝置可接收列出產品資訊的SDP。在接收到SDP後，使用者裝置可接著與SDP交互。舉例而言，請求使用者裝置的使用者可點選或以其他方式與SDP上的「放在購物車中」按鈕交互。此將產品添加至與使用者相關聯的購物車。使用者裝置可將把產品添加至購物車的此請求傳輸至外部前端系統103。
外部前端系統103可產生購物車頁(例如，圖1D)。在一些實施例中，購物車頁列出使用者已添加至虛擬「購物車」的產品。使用者裝置可藉由在SRP、SDP或其他頁上的圖標上點選或以其他方式與所述圖標交互來請求購物車頁。在一些實施例中，購物車頁可列出使用者已添加至購物車的所有產品，以及關於購物車中的產品的資訊(諸如每一產品的數量、每一產品每物件的價格、每一產品基於相關聯數量的價格)、關於PDD的資訊、遞送方法、運送成本、用於修改購物車中的產品(例如，刪除或修改數量)的使用者介面元素、用於訂購其他產品或設置產品的定期遞送的選項、用於設置利息支付的選項、用於前進至購買的使用者介面元素，或類似者。使用者裝置處的使用者可在使用者介面元素(例如，寫著「現在購買」的按鈕)上點選或以其他方式與所述使用者介面元素交互，以發起對購物車中的產品的購買。在如此做後，使用者裝置可將發起購買的此請求傳輸至外部前端系統103。
外部前端系統103可回應於接收到發起購買的請求而產生訂單頁(例如，圖1E)。在一些實施例中，訂單頁重新列出來自購物車的物件且請求支付及運送資訊的輸入。舉例而言，訂單頁可包含請求關於購物車中的物件的購買者的資訊(例如，姓名、地址、電子郵件地址、電話號碼)、關於接收者的資訊(例如，姓名、地址、電話號碼、遞送資訊)、運送資訊(例如，遞送及/或揀貨的速度/方法)、支付資訊(例如，信用卡、銀行轉賬、支票、儲存的積分)的部分、請求現金收據(例如，出於稅務目的)的使用者介面元素，或類似者。外部前端系統103可將訂單頁發送至使用者裝置。
使用者裝置可輸入關於訂單頁的資訊，且點選或以其他方式與將資訊發送至外部前端系統103的使用者介面元素交互。自此處，外部前端系統103可將資訊發送至系統100中的不同系統，以使得能夠創建及處理具有購物車中的產品的新訂單。
在一些實施例中，外部前端系統103可進一步經組態以使得賣方能夠傳輸及接收與訂單相關的資訊。
在一些實施例中，內部前端系統105可實行為使得內部使用者(例如，擁有、操作或租用系統100的組織的雇員)能夠與系統100中的一或多個系統交互的電腦系統。舉例而言，在SAT系統101使得系統的呈現能夠允許使用者針對物件下訂單的實施例中，內部前端系統105可實行為使得內部使用者能夠查看關於訂單的診斷及統計資訊、修改物件資訊或審查與訂單相關的統計的網頁伺服器。舉例而言，內部前端系統105可實行為電腦或電腦運行軟體，諸如阿帕奇HTTP伺服器、微軟網際網路資訊服務(IIS)、NGINX，或類似者。在其他實施例中，內部前端系統105可運行經設計以接收及處理來自系統100中所描繪的系統或裝置(以及未描繪的其他裝置)的請求、基於彼等請求自資料庫及其他資料儲存庫獲取資訊，以及基於所獲取的資訊來將回應提供至接收到的請求的定製網頁伺服器軟體。
在一些實施例中，內部前端系統105可包含網頁快取系統、資料庫、搜尋系統、支付系統、分析系統、訂單監視系統或類似者中的一或多者。在一個態樣中，內部前端系統105可包括這些系統中的一或多者，而在另一態樣中，內部前端系統105可包括連接至這些系統中的一或多者的介面(例如，伺服器至伺服器、 資料庫至資料庫，或其他網路連接)。
在一些實施例中，運輸系統107可實行為實現系統100中的系統或裝置與行動裝置107A至行動裝置107C之間的通信的電腦系統。在一些實施例中，運輸系統107可自一或多個行動裝置107A至行動裝置107C(例如，行動電話、智慧型手機、PDA，或類似者)接收資訊。舉例而言，在一些實施例中，行動裝置107A至行動裝置107C可包括由遞送工作者操作的裝置。遞送工作者(其可為永久雇員、暫時雇員或輪班雇員)可利用行動裝置107A至行動裝置107C來實現對含有由使用者訂購的產品的包裹的遞送。舉例而言，為遞送包裹，遞送工作者可在行動裝置上接收指示遞送哪一包裹及將所述包裹遞送到何處的通知。在抵達遞送位置後，遞送工作者可(例如，在卡車的後部中或在包裹的條板箱中)定位包裹、使用行動裝置掃描或以其他方式擷取與包裹上的識別符(例如，條碼、影像、文字串、RFID標籤，或類似者)相關聯的資料，且遞送包裹(例如，藉由將其留在前門處、將其留給警衛、將其交給接收者，或類似者)。在一些實施例中，遞送工作者可使用行動裝置擷取包裹的相片及/或可獲得簽名。行動裝置可將資訊發送至運輸系統107，所述資訊包含關於遞送的資訊，包含例如時間、日期、GPS位置、相片、與遞送工作者相關聯的識別符、與行動裝置相關聯的識別符，或類似者。運輸系統107可在資料庫(未描繪)中儲存此資訊以用於由系統100中的其他系統訪問。在一些實施例中，運輸系統107可使用此資訊來準備追蹤資料且將所述追蹤資料發送至其他系統，從而指示特定包裹的位置。
在一些實施例中，某些使用者可使用一個種類的行動裝 置(例如，永久工作者可使用具有定製硬體(諸如條碼掃描器、尖筆以及其他裝置)的專用PDA)，而其他使用者可使用其他類型的行動裝置(例如，暫時工作者或輪班工作者可利用現成的行動電話及/或智慧型手機)。
在一些實施例中，運輸系統107可使使用者與每一裝置相關聯。舉例而言，運輸系統107可儲存使用者(由例如使用者識別符、雇員識別符或電話號碼表示)與行動裝置(由例如國際行動設備身分(International Mobile Equipment Identity；IMEI)、國際行動訂用識別符(International Mobile Subscription Identifier；IMSI)、電話號碼、通用唯一識別符(Universal Unique Identifier；UUID)或全球唯一識別符(Globally Unique Identifier；GUID)表示)之間的關聯。運輸系統107可結合在遞送時接收到的資料使用此關聯來分析儲存於資料庫中的資料，以便尤其判定工作者的位置、工作者的效率，或工作者的速度。
在一些實施例中，賣方入口網站109可實行為使得賣方或其他外部實體能夠與系統100中的一或多個系統電子地通信的電腦系統。舉例而言，賣方可利用電腦系統(未描繪)來上載或提供賣方希望經由使用賣方入口網站109的系統100來出售的產品的產品資訊、訂單資訊、連絡資訊或類似者。
在一些實施例中，運送及訂單追蹤系統111可實行為接收、儲存以及轉送關於含有由客戶(例如，由使用裝置102A至裝置102B的使用者)訂購的產品的包裹的位置的資訊的電腦系統。在一些實施例中，運送及訂單追蹤系統111可請求或儲存來自由遞送含有由客戶訂購的產品的包裹的運送公司操作的網頁伺服器 (未描繪)的資訊。
在一些實施例中，運送及訂單追蹤系統111可請求及儲存來自在系統100中描繪的系統的資訊。舉例而言，運送及訂單追蹤系統111可請求來自運輸系統107的資訊。如上文所論述，運輸系統107可自與使用者(例如，遞送工作者)或車輛(例如，遞送卡車)中的一或多者相關聯的一或多個行動裝置107A至行動裝置107C(例如，行動電話、智慧型手機、PDA或類似者)接收資訊。在一些實施例中，運送及訂單追蹤系統111亦可向倉庫管理系統(workforce management system；WMS)119請求資訊以判定個別產品在履行中心(例如，履行中心200)內部的位置。運送及訂單追蹤系統111可向運輸系統107或WMS 119中的一或多者請求資料，在請求後處理所述資料，且將所述資料呈現給裝置(例如，使用者裝置102A及使用者裝置102B)。
在一些實施例中，履行最佳化(FO)系統113可實行為儲存來自其他系統(例如，外部前端系統103及/或運送及訂單追蹤系統111)的客戶訂單的資訊的電腦系統。FO系統113亦可儲存描述特定物件保存或儲存於何處的資訊。舉例而言，某些物件可能僅儲存於一個履行中心中，而某些其他物件可能儲存於多個履行中心中。在再其他實施例中，某些履行中心可經設計以僅儲存特定物件集合(例如，新鮮生產或冷凍的產品)。FO系統113儲存此資訊以及相關聯資訊(例如，數量、大小、接收日期、過期日期等)。
FO系統113亦可計算每一產品的對應PDD(承諾遞送日期)。在一些實施例中，PDD可以基於一或多個因素。舉例而言，FO系統113可基於下述者來計算產品的PDD：對產品的過去需求 (例如，在一段時間期間訂購了多少次所述產品)、對產品的預期需求(例如，預測在即將到來的一段時間期間多少客戶將訂購所述產品)、指示在一段時間期間訂購了多少產品的全網路過去需求、指示預期在即將到來的一段時間期間將訂購多少產品的全網路預期需求、儲存於每一履行中心200中的產品的一或多個計數、哪一履行中心儲存每一產品、產品的預期或當前訂單，或類似者。
在一些實施例中，FO系統113可定期(例如，每小時)判定每一產品的PDD且將其儲存於資料庫中以供檢索或發送至其他系統(例如，外部前端系統103、SAT系統101、運送及訂單追蹤系統111)。在其他實施例中，FO系統113可自一或多個系統(例如，外部前端系統103、SAT系統101、運送及訂單追蹤系統111)接收電子請求且按需求計算PDD。
在一些實施例中，履行通信報閘道(FMG)115可實行為自系統100中的一或多個系統(諸如FO系統113)接收呈一種格式或協定的請求或回應、將其轉換為另一格式或協定且將其以轉換後的格式或協定轉發至其他系統(諸如WMS 119或第3方履行系統121A、第3方履行系統121B或第3方履行系統121C)且反之亦然的電腦系統。
在一些實施例中，供應鏈管理(SCM)系統117可實行為進行預測功能的電腦系統。舉例而言，SCM系統117可基於例如下述者來預測對特定產品的需求水平：對產品的過去需求、對產品的預期需求、全網路過去需求、全網路預期需求、儲存於每一履行中心200中的計數產品、每一產品的預期或當前訂單，或類似者。回應於此預測水平及所有履行中心中的每一產品的量，SCM系統 117可產生一或多個購買訂單以購買及儲備足夠數量，以滿足對特定產品的預測需求。
在一些實施例中，倉庫管理系統(WMS)119可實行為監視工作流程的電腦系統。舉例而言，WMS 119可自個別裝置(例如，裝置107A至裝置107C或裝置119A至裝置119C)接收指示離散事件的事件資料。舉例而言，WMS 119可接收指示這些裝置中的一者掃描包裹的使用的事件資料。如下文相對於履行中心200及圖2所論述，在履行過程期間，可藉由特定階段處的機器(例如，自動式或手持式條碼掃描器、RFID讀取器、高速攝影機、諸如平板電腦119A、行動裝置/PDA 119B、電腦119C的裝置或類似者)掃描或讀取包裹識別符(例如，條碼或RFID標籤資料)。WMS 119可將指示掃描或包裹識別符的讀取的每一事件以及包裹識別符、時間、日期、位置、使用者識別符或其他資訊儲存於對應資料庫(未描繪)中，且可將此資訊提供至其他系統(例如，運送及訂單追蹤系統111)。
在一些實施例中，WMS 119可儲存使一或多個裝置(例如，裝置107A至裝置107C或裝置119A至裝置119C)與一或多個使用者(所述一或多個使用者與系統100相關聯)相關聯的資訊。舉例而言，在一些情形下，使用者(諸如兼職雇員或全職雇員)可與行動裝置相關聯，此是由於使用者擁有行動裝置(例如，行動裝置為智慧型手機)。在其他情形下，使用者可與行動裝置相關聯，此是由於使用者暫時保管行動裝置(例如，使用者在一天開始時拿到行動裝置，將在一天期間使用所述行動裝置，且將在一天結束時退還所述行動裝置)。
在一些實施例中，WMS 119可維護與系統100相關聯的每一使用者的工作日志。舉例而言，WMS 119可儲存與每一雇員相關聯的資訊，包含任何指定的過程(例如，自卡車卸載、自揀貨區揀取物件、合流牆(rebin wall)工作、包裝物件)、使用者識別符、位置(例如，履行中心200中的樓層或區)、藉由雇員經由系統移動的單位數目(例如，所揀取物件的數目、所包裝物件的數目)、與裝置(例如，裝置119A至裝置119C)相關聯的識別符，或類似者。在一些實施例中，WMS 119可自計時系統接收登記及登出資訊，所述計時系統諸如在裝置119A至裝置119C上操作的計時系統。
在一些實施例中，第3方履行(3rd party fulfillment；3PL)系統121A至第3方履行系統121C表示與物流及產品的第三方提供商相關聯的電腦系統。舉例而言，儘管一些產品儲存於履行中心200中(如下文相對於圖2所論述)，但其他產品可儲存於場外、可按需求生產，或可以其他方式不可供用於儲存於履行中心200中。3PL系統121A至3PL系統121C可經組態以(例如，經由FMG 115)自FO系統113接收訂單，且可直接為客戶提供產品及/或服務(例如，遞送或安裝)。在一些實施例中，3PL系統121A至3PL系統121C中的一或多者可為系統100的部分，而在其他實施例中，3PL系統121A至3PL系統121C中的一或多者可在系統100外部(例如，由第三方提供商擁有或操作)。
在一些實施例中，履行中心授權系統(FC Auth)123可實行為具有各種功能的電腦系統。舉例而言，在一些實施例中，FC Auth 123可充當系統100中的一或多個其他系統的單一簽入 (single-sign on；SSO)服務。舉例而言，FC Auth 123可使得使用者能夠經由內部前端系統105登入、判定使用者具有訪問運送及訂單追蹤系統111處的資源的類似特權，且使得使用者能夠在不需要第二登入過程的情況下取得彼等特權。在其他實施例中，FC Auth 123可使得使用者(例如，雇員)能夠使自身與特定任務相關聯。舉例而言，一些雇員可能不具有電子裝置(諸如裝置119A至裝置119C)，且實際上可能在一天的過程期間在履行中心200內自任務至任務以及自區至區移動。FC Auth 123可經組態以使得彼等雇員能夠在一天的不同時間指示其正進行何任務以及其位於何區。
在一些實施例中，勞動管理系統(LMS)125可實行為儲存雇員(包含全職雇員及兼職雇員)的出勤及超時資訊的電腦系統。舉例而言，LMS 125可自FC Auth 123、WMS 119、裝置119A至裝置119C、運輸系統107及/或裝置107A至裝置107C接收資訊。
圖1A中所描繪的特定組態僅為實例。舉例而言，儘管圖1A描繪連接至FO系統113的FC Auth系統123，但並非所有實施例均要求此特定組態。實際上，在一些實施例中，系統100中的系統可經由一或多個公用或私用網路彼此連接，所述網路包含網際網路、企業內部網路、廣域網路(Wide-Area Network；WAN)、都會區域網路(Metropolitan-Area Network；MAN)、順應IEEE 802.11a/b/g/n標準的無線網路、租用線，或類似者。在一些實施例中，系統100中的系統中的一或多者可實行為在資料中心、伺服器群或類似者處實行的一或多個虛擬伺服器。
圖2描繪履行中心200。履行中心200為儲存用於在訂購時運送至客戶的物件的實體位置的實例。可將履行中心(FC)200劃分成多個區，所述區中的每一者描繪於圖2中。在一些實施例中，可認為這些「區」為接收物件、儲存物件、檢索物件以及運送物件的過程的不同階段之間的虛擬劃分。因此，儘管在圖2中描繪「區」，但其他區劃分為可能的，且在一些實施例中可省略、複製或修改圖2中的區。
入站區203表示FC 200的自希望使用來自圖1A的系統100出售產品的賣方接收到物件的區域。舉例而言，賣方可使用卡車201來遞送物件202A及物件202B。物件202A可表示足夠大以佔據其自身運送托板的單一物件，而物件202B可表示在同一托板上堆疊在一起以節省空間的物件集合。
工作者將在入站區203中接收物件，且可使用電腦系統(未描繪)來視情況檢查物件的損壞及正確性。舉例而言，工作者可使用電腦系統來比較物件202A及物件202B的數量與物件的所訂購數量。若數量不匹配，則工作者可拒絕物件202A或物件202B中的一或多者。若數量的確匹配，則工作者可(使用例如台車、手推平車、叉車或手動地)將彼等物件移動至緩衝區205。緩衝區205可為當前(例如由於揀貨區中存在足夠高數量的物件以滿足預測需求而)無需處於揀貨區中的所述物件的暫時儲存區域。在一些實施例中，叉車206操作以圍繞緩衝區205及在入站區203與卸貨區207之間移動物件。若(例如，由於預測需求而)需要揀貨區中的物件202A或物件202B，則叉車可將物件202A或物件202B移動至卸貨區207。
卸貨區207可為FC 200的在將物件移動至揀貨區209之前儲存所述物件的區域。指定給揀貨任務的工作者(「揀貨員」)可靠近揀貨區中的物件202A及物件202B，使用行動裝置(例如，裝置119B)來掃描揀貨區的條碼，且掃描與物件202A及物件202B相關聯的條碼。揀貨員可接著(例如，藉由將物件置放於推車上或攜帶所述物件)將所述物件取至揀貨區209。
揀貨區209可為FC 200的將物件208儲存於儲存單元210上的區域。在一些實施例中，儲存單元210可包括實體擱架、書架、盒、手提包、冰箱、冷凍機、冷儲存區或類似者中的一或多者。在一些實施例中，揀貨區209可組織成多個樓層。在一些實施例中，工作者或機器可以多種方式將物件移動至揀貨區209中，包含例如叉車、電梯、傳送帶、推車、手推平車、台車、自動化機器人或裝置，或手動地移動。舉例而言，揀貨員可在卸貨區207中將物件202A及物件202B置放於手推平車或推車上，且將物件202A及物件202B步移至揀貨區209。
揀貨員可接收將物件置放(或「堆裝」)於揀貨區209中的特定點(諸如儲存單元210上的特定空間)的指令。舉例而言，揀貨員可使用行動裝置(例如，裝置119B)來掃描物件202A。裝置可例如使用指示走道、貨架以及位置的系統來指示揀貨員應將物件202A堆裝於何處。裝置可接著提示揀貨員在將物件202A堆裝於所述位置之前掃描所述位置處的條碼。裝置可(例如，經由無線網路)將資料發送至諸如圖1A中的WMS 119的電腦系統，從而指示已由使用裝置119B的使用者將物件202A堆裝於所述位置處。
一旦使用者下訂單，揀貨員即可在裝置119B上接收自儲存單元210檢索一或多個物件208的指令。揀貨員可檢索物件208、掃描物件208上的條碼，且將所述物件208置放於運輸機構214上。儘管將運輸機構214表示為滑動件，但在一些實施例中，運輸機構可實行為傳送帶、電梯、推車、叉車、手推平車、台車或類似者中的一或多者。物件208可接著抵達包裝區211。
包裝區211可為FC 200的自揀貨區209接收到物件且將所述物件包裝至盒或包中以用於最終運送至客戶的區域。在包裝區211中，指定給接收物件的工作者(「合流工作者」)將自揀貨區209接收物件208且判定所述物件208對應於哪一訂單。舉例而言，合流工作者可使用諸如電腦119C的裝置來掃描物件208上的條碼。電腦119C可在視覺上指示物件208與哪一訂單相關聯。此可包含例如對應於訂單的牆216上的空間或「單元格」。一旦訂單完成(例如，由於單元格含有所述訂單的所有物件)，合流工作者即可指示包裝工作者(或「包裝員」)訂單完成。包裝員可自單元格檢索物件且將所述物件置放於盒或包中以用於運送。包裝員可接著例如經由叉車、推車、台車、手推平車、傳送帶、手動地或以其他方式將盒或包發送至樞紐區(hub zone)213。
樞紐區213可為FC 200的自包裝區211接收所有盒或包(「包裹」)的區域。樞紐區213中的工作者及/或機器可檢索包裹218且判定每一包裹預期去至遞送區域的哪一部分，且將包裹投送至適當的營地區(camp zone)215。舉例而言，若遞送區域具有兩個更小子區域，則包裹將去至兩個營地區215中的一者。在一些實施例中，工作者或機器可(例如，使用裝置119A至裝置119C 中的一者)掃描包裹以判定其最終目的地。將包裹投送至營地區215可包括例如(例如，基於郵遞碼)判定包裹去往的地理區域的一部分，以及判定與地理區域的所述部分相關聯的營地區215。
在一些實施例中，營地區215可包括一或多個建築物、一或多個實體空間或一或多個區域，其中自樞紐區213接收包裹以用於分選至路線及/或子路線中。在一些實施例中，營地區215與FC 200實體地分開，而在其他實施例中，營地區215可形成FC 200的一部分。
營地區215中的工作者及/或機器可例如基於下述者來判定包裹220應與哪一路線及/或子路線相關聯：目的地與現有路線及/或子路線的比較、對每一路線及/或子路線的工作負荷的計算、時刻、運送方法、運送包裹220的成本、與包裹220中的物件相關聯的PDD，或類似者。在一些實施例中，工作者或機器可(例如，使用裝置119A至裝置119C中的一者)掃描包裹以判定其最終目的地。一旦將包裹220指定給特定路線及/或子路線，工作者及/或機器即可移動待運送的包裹220。在例示性圖2中，營地區215包含卡車222、汽車226以及遞送工作者224A及遞送工作者224B。在一些實施例中，卡車222可由遞送工作者224A駕駛，其中遞送工作者224A為遞送FC 200的包裹的全職雇員，且卡車222由擁有、租用或操作FC 200的同一公司擁有、租用或操作。在一些實施例中，汽車226可由遞送工作者224B駕駛，其中遞送工作者224B為在視需要基礎上(例如，季節性地)遞送的「靈活」或臨時工作者。汽車226可由遞送工作者224B擁有、租用或操作。
參考圖3，繪示示出用於斷詞的系統的例示性實施例的示 意性方塊圖。如圖3中所示出，系統300可包括斷詞系統301、伺服器303以及資料庫304，其中的每一者可經由網路302彼此通信。在一些實施例中，斷詞系統301、伺服器303以及資料庫304可彼此通信且經由直接連接(例如使用纜線)與系統300的其他組件通信。在一些其他實施例中，系統300可為圖1A的系統100的一部分，且可經由網路302或經由直接連接(例如，使用電纜)與系統100的其他組件(例如，外部前端系統103或內部前端系統105)通信。斷詞系統301可包括單個電腦或可各自經組態為包含多個電腦的分佈式電腦系統，所述多個電腦交互操作以執行與所揭露實例相關聯的過程及功能性中的一或多者。
如圖3中所示，斷詞系統301可包括處理器305及資料庫309。處理器305可為一或多個已知處理裝置，諸如來自由英特爾TM(IntelTM)製造的奔騰TM(PentiumTM)系列或由AMDTM製造的炫龍TM(TurionTM)系列的微處理器。處理器305可構成單核心處理器或同時執行並行程序的多核心處理器。舉例而言，處理器305可使用邏輯處理器以同時執行且控制多個程序。處理器305可實施虛擬機技術或其他已知技術以提供執行、控制、運行、操控、儲存等多個軟體程序、應用程式、程式等的能力。在另一實例中，處理器305可包含經組態以提供並行處理功能性以允許斷詞系統301同時執行多個程序的多核心處理器配置。所屬技術領域中具有通常知識者應瞭解，可實施提供本文中所揭露的能力的其他類型的處理器配置。
資料庫304及資料庫309可包含例如甲骨文TM(OracleTM)資料庫、賽貝斯TM(SybaseTM)資料庫或其他關連式資料庫或非關 連式資料庫，諸如HadoopTM順序檔案、HBaseTM或CassandraTM。資料庫304及資料庫309可包含計算組件(例如，資料庫管理系統、資料庫伺服器等)，所述計算組件經組態以接收及處理對儲存於資料庫的記憶體裝置中的資料的請求及自資料庫提供資料。資料庫304及資料庫309可包含NoSQL資料庫，諸如HBase、MongoDBTM或CassandraTM。替代地，資料庫304及資料庫309可包含諸如甲骨文、MySQL以及微軟SQL伺服器的關連式資料庫。在一些實施例中，資料庫304及資料庫309可呈伺服器、通用電腦、大型主機電腦或這些組件的任何組合的形式。
資料庫304及資料庫309可儲存可由處理器305用於執行與所揭露實例相關聯的方法及程序的資料。如圖3中所示，資料庫309可位於斷詞系統301中。在一些實施例中，資料庫304可位於斷詞系統301中。在一些實施例中，系統300可包含資料庫304或資料庫309中的一或兩者。儲存在斷詞系統301中的資料可包含與產品相關聯的任何合適的資料，所述資料為斷詞所需的。舉例而言，儲存在斷詞系統301中的資料可包含產品品名、產品名稱、產品類型名稱、產品類型關鍵詞、相關或同義產品類型關鍵詞、產品品牌、產品描述、產品製造商名稱、產品類別資訊等等。在一些實施例中，儲存在資料庫309中的資料可包含合適的與產品相關聯的訓練資料。舉例而言，儲存在資料庫309中的資料可包含產品品名、產品名稱、產品類型名稱、產品類型關鍵詞、相關或同義產品類型關鍵詞、產品品牌、產品描述、產品製造商名稱、產品類別資訊等等。在一些實施例中，此類與產品相關聯的訓練資料可儲存在外部資料庫中，諸如資料庫304，而非直接儲存在斷詞 系統301中。因此，斷詞系統301可經由網路302與資料庫304通信以使用儲存在資料庫304中的訓練資料來訓練與斷詞系統301相關聯的一或多個模型及/或演算法。
斷詞系統301的一或多個處理器305亦可包括用於便於斷詞的嵌入模型306、前向語言模式307以及反向語言模式308。嵌入模型306、前向語言模式307以及反向語言模式308可訓練成自動地分段詞，諸如產品品名。嵌入模型306可包括經組態以將輸入字元轉換或嵌入成向量的字元嵌入模型。可使用已知模型來訓練嵌入模型306以產生詞嵌入，諸如word2vec模型。在一些實施例中，嵌入模型306可輸入來自儲存在資料庫(諸如資料庫304或資料庫309)中的字元(例如c1、c2、c3......cn)的字典的字元上下文。另外，產品品名可包括字元cq1、cq2、cq3......cqn的序列。每一字元可選自儲存在資料庫中的字元(例如c1、c2、c3......cn)的字典。在字元的序列中，字元的字典中的目標字元ci可對應於獨熱向量，其尺寸為1，而所有其他字元的尺寸為0。
嵌入模型306可輸入字元上下文並預測實際字元。舉例而言，字元上下文可包括字元cq1、cq2、cq3......cqn的序列中的直接在目標字元之前的字元的數目及直接在目標字元之後的字元的數目。舉例而言，用於目標字元cqi的字元上下文可包括(cqi-2、cqi-1、cqi+1、cqi+2)。嵌入模型306可包括投影層及柔性最大傳遞函數分類器層。嵌入模型306可求和每一獨熱向量並將總獨熱向量饋入至投影層中。接著，投影層可輸出密集設定尺寸向量，所述向量可進一步饋入至柔性最大傳遞函數分類器層中以預測目標字元為cqi的獨熱向量的機率。
前向語言模式307及反向語言模式308可包括經組態以處理輸入的序列的人工神經網路。舉例而言，前向語言模式307及反向語言模式308可包括人工神經網路，諸如循環神經網路(RNN)、閘控循環單元(GRU)、長短期記憶網路(LSTM)或類似者。在一些實施例中，一或多個處理器305可包括多於一個前向語言模式307及/或多於一個反向語言模式308。在一些實施例中，嵌入模型306可將在目標字元之前的預定數目個字元轉換或嵌入成向量。藉由將在目標字元之前的預定數目個字元轉換成向量而產生的向量序列可輸入或饋入至前向語言模式307。前向語言模式307接著可經組態以輸出及預測基於在目標字元之前的字元的向量序列而判定的目標字元的嵌入向量。一或多個處理器305亦可藉由判定由嵌入模型306判定的目標字元的嵌入向量與由前向語言模式307預測的目標字元的嵌入向量之間的歐幾里德距離來計算前向語言模式307的損失函數。所計算的損失函數可允許一或多個處理器305判定藉由前向語言模式307進行的預測的準確性，例如由嵌入模型306判定的目標字元的嵌入向量與由前向語言模式307預測的目標字元的嵌入向量之間的相似性。
另外，嵌入模型306可將在目標字元之後的預定數目個字元轉換或嵌入成向量。藉由將在目標字元之後的預定數目個字元轉換成向量而產生的向量序列可輸入或饋入至反向語言模式308。反向語言模式308接著可經組態以輸出及預測基於在目標字元之後的字元的向量序列而判定的目標字元的嵌入向量。一或多個處理器305亦可藉由判定由嵌入模型306判定的目標字元的嵌入向量與由反向語言模式308預測的目標字元的嵌入向量之間的 歐幾里德距離來計算反向語言模式308的損失函數。所計算的損失函數可允許一或多個處理器305判定藉由反向語言模式308進行的預測的準確性，例如由嵌入模型306判定的目標字元的嵌入向量與由反向語言模式308預測的目標字元的嵌入向量之間的相似性。
另外或替代地，一或多個處理器305可經組態以藉由量測預測與由嵌入模型306判定的目標字元的實際嵌入向量之間的歐幾里德距離的反向指數來判定前向語言模式307及/或反向語言模式308預測目標字元的機率。可使用以下方程式計算目標字元的反向指數：
Figure 109145981-A0305-02-0031-2
其中cqi為目標字元的實際嵌入向量，且cqi'為藉由前向語言模式307及/或反向語言模式308預測的目標字元的嵌入向量。
因此，使用以上方程式，一或多個處理器305可判定目標字元的實際嵌入向量更接近由前向語言模式307還是反向語言模式308預測的目標字元的嵌入向量。亦即，一或多個處理器305可使用前向語言模式307來預測位置「i」處的目標字元(亦即cqi')的嵌入向量，且使用反向語言模式308來預測位置「i」處的目標字元(亦即cqi')的嵌入向量。隨後，一或多個處理器305可使用以上方程式來使用由前向語言模式307預測的目標字元的嵌入向量計算第一反向指數，且使用由反向語言模式308預測的目標字元的嵌入向量計算第二反向指數。若目標字元(亦即cqi)的實際嵌入向量更接近由前向語言模式307預測的目標字元的嵌入向量，則藉由一或多個處理器305計算的第一反向指數將高於第二反向 指數。相反，若目標字元(亦即cqi)的實際嵌入向量更接近由反向語言模式308預測的目標字元的嵌入向量，則藉由一或多個處理器305計算的第二反向指數將高於第一反向指數。
在一些實施例中，一或多個處理器305可經組態以基於多個字元中的字元的數目及平均字長來預測多個字元中的分段的數目。舉例而言，一或多個處理器305可判定多個字元，諸如產品品名，包括30個字元，且判定平均字長為約3個字元。接著，一或多個處理器305可能夠預測所接收的多個字元中可能存在約10個分段及/或分段詞。
系統300亦可包括網路302。網路302可為無線網路、有線網路或無線網路與有線網路的任何組合中的一或多者。舉例而言，網路302可包含光纖網路、被動光學網路、電纜網路、網際網路、衛星網路、無線LAN、全球行動通信系統(「Global System for Mobile Communication；GSM」)、個人通信服務(「Personal Communication Service；PCS」)、個人區域網路(「Personal Area Network；PAN」)、D-AMPS、Wi-Fi、固定無線資料、IEEE 802.11b、IEEE 802.15.1、IEEE 802.11n以及IEEE 802.11g或用於傳輸及接收資料的任何其他有線或無線網路中的一或多者。
另外，網路302可包含但不限於電話線、光纖、IEEE乙太網802.3、廣域網路(「WAN」)、區域網路(「local area network；LAN」)，或諸如網際網路的全球網路。網路302亦可支援網際網路、無線通信網路、蜂巢式網路或類似者，或其任何組合。網路302可更包含操作為獨立網路或彼此合作的一個網路或任何數目個上文所提及的例示性類型的網路。網路302可利用與其以通信方式 耦接的一或多個網路元件的一或多個協定。網路302可轉譯至網路裝置的一或多個協定或自其他協定轉譯至網路裝置的一或多個協定。儘管將網路302描繪為單一網路，但應瞭解，根據一或多個實施例，網路302可包括多個互連網路，諸如網際網路、服務提供商的網路、有線電視網路、公司網路以及家庭網路。
系統300亦可包括伺服器303。伺服器303可為網頁伺服器。舉例而言，伺服器303可包含遞送網頁內容的硬體(例如，一或多個電腦)及/或軟體(例如，一或多個應用程式)，所述網頁內容可由例如使用者經由諸如網際網路的網路(例如，網路302)存取。伺服器303可使用例如超文字傳送協定(hypertext transfer protocol；HTTP或sHTTP)來與使用者通信。遞送至使用者的網頁可包含例如HTML文件，其除文字內容之外可包含影像、式樣表單以及腳本。
諸如網頁瀏覽器、網頁耙梳程式或本機行動應用程式的使用者程式可使用HTTP藉由作出對特定資源的請求來發起通信，且伺服器303可用所述資源的內容回應或若無法這樣做則以錯誤訊息回應。伺服器303亦可允許或有助於自使用者接收內容，因此使用者可能夠例如提交網頁形式，包含上載檔案。伺服器303亦可使用例如主動伺服器頁(Active Server Page；ASP)、PHP或其他腳本處理語言來支援伺服器側腳本處理。因此，可在分開的檔案中對伺服器303的行為進行腳本處理，同時實際伺服器軟體保持不變。
在其他實施例中，伺服器303可為應用伺服器，所述應用伺服器可包含用於支援其所應用的應用的專用於程序(例如，程 式、常式、腳本)的高效執行的硬體及/或軟體。伺服器303可包括一或多個應用程式伺服器框架，包含例如Java應用程式伺服器(例如，Java平台、企業版(Java EE(Enterprise Edition；EE))、來自微軟®(Microsoft®)的.NET框架(.NET framework)、PHP應用程式伺服器，以及類似者)。各種應用程式伺服器框架可含有綜合服務層模型。伺服器303可充當可經由由平台自身定義的API對例如實體實施系統100進行存取的組件集合。
圖4為示出用於斷詞的例示性方法400的流程圖。此例示性方法藉助於實例提供。繪示於圖4中的方法400可藉由各種系統的一或多個組合執行或以其他方式進行。藉助於實例，如下文所描述的方法400可藉由如圖3中所示的斷詞系統301進行，且在解釋圖4的方法時提及所述系統的各種元件。繪示於圖4中的每一方塊表示例示性方法400中的一或多個過程、方法或次常式。參考圖4，例示性方法400可開始於方塊401處。
在方塊401處，斷詞系統301的一或多個處理器305可接收多個字元以供分段。舉例而言，一或多個處理器305可接收與產品相關聯的產品品名以供分段。舉例而言，產品品名可包括構成產品品名的一或多個詞的字元的序列。字元的序列可能需要分段以便形成構成產品品名的恰當詞。
在接收多個字元以供分段之後，方法400可進行至方塊402。在方塊402處，一或多個處理器305可使用嵌入模型(諸如嵌入模型306)將多個字元中的目標字元轉換成嵌入向量。一或多個處理器305可使用嵌入模型306將目標字元轉換成嵌入向量。可使用已知模型來訓練嵌入模型306以產生詞嵌入，諸如word2vec 模型。在一些實施例中，嵌入模型306可輸入來自儲存在資料庫(諸如資料庫304或資料庫309)中的字元(例如c1、c2、c3......cn)的字典的字元上下文。另外，產品品名可包括字元cq1、cq2、cq3......cqn的序列。每一字元可選自儲存在資料庫中的字元(例如c1、c2、c3......cn)的字典。在字元的序列中，字元的字典中的目標字元ci可對應於獨熱向量，其尺寸為1，而所有其他字元的尺寸為0。
嵌入模型306可輸入字元上下文並預測實際目標字元，或其嵌入向量。舉例而言，字元上下文可包括字元cq1、cq2、cq3......cqn的序列中的直接在目標字元之前的字元的數目及直接在目標字元之後的字元的數目。舉例而言，用於目標字元cqi的字元上下文可包括(cqi-2、cqi-1、cqi+1、cqi+2)。嵌入模型306可包括投影層及柔性最大傳遞函數分類器層。嵌入模型306可求和每一獨熱向量並將總獨熱向量饋入至投影層中。接著，投影層可輸出密集設定尺寸向量，所述向量可進一步饋入至柔性最大傳遞函數分類器層中以預測目標字元為cqi的獨熱向量的機率。因此，嵌入模型306可輸出目標字元的實際嵌入向量。
在將目標字元轉換成嵌入向量之後，方法400可進行至方塊403。在方塊403處，一或多個處理器305可將在方塊402處判定的嵌入向量及第一上下文嵌入向量序列饋入至前向語言模式(諸如前向語言模式307)中。第一上下文嵌入向量可包括與在目標字元之前的預定數目個字元相關聯的向量的序列。前向語言模式307可包括人工神經網路，諸如循環神經網路(RNN)、閘控循環單元(GRU)、長短期記憶網路(LSTM)，或類似者。在一些實 施例中，嵌入模型306可將在目標字元之前的預定數目個字元轉換或嵌入成向量。藉由將在目標字元之前的預定數目個字元轉換成向量而產生的向量序列可輸入或饋入至前向語言模式307。前向語言模式307接著可經組態以輸出第一輸出向量。第一輸出向量可包括對基於在目標字元之前的字元的向量序列而判定的目標字元的嵌入向量的預測。
在方塊404處，一或多個處理器305可進一步將在方塊402處判定的嵌入向量及第二上下文嵌入向量序列饋入至反向語言模式(諸如反向語言模式308)中。第二上下文嵌入向量可包括與在目標字元之後的預定數目個字元相關聯的向量的序列。反向語言模式308可包括人工神經網路，諸如循環神經網路(RNN)、閘控循環單元(GRU)、長短期記憶網路(LSTM)，或類似者。在一些實施例中，嵌入模型306可將在目標字元之後的預定數目個字元轉換或嵌入成向量。藉由將在目標字元之後的預定數目個字元轉換成向量而產生的向量序列可輸入或饋入至反向語言模式308。反向語言模式308接著可經組態以輸出第二輸出向量。第二輸出向量可為對基於在目標字元之後的字元的向量序列而判定的目標字元的嵌入向量的預測。
在饋入前向語言模式307及反向語言模式308之後，方法400可進行至方塊405。在方塊405處，一或多個處理器可將在方塊402處藉由嵌入模型306判定的嵌入向量與來自方塊403的第一輸出向量及來自方塊404的第二輸出向量進行比較。為了進行比較，一或多個處理器305可藉由判定由嵌入模型306判定的目標字元的嵌入向量(來自方塊402)與由前向語言模式307預測 的第一輸出向量(來自方塊403)及由反向語言模式308預測的第二輸出向量(來自方塊404)中的每一者之間的歐幾里德距離來計算前向語言模式307及反向語言模式308的損失函數。所計算的損失函數可允許一或多個處理器305判定藉由前向語言模式307及反向語言模式308進行的預測的準確性。
另外或替代地，一或多個處理器305可經組態以藉由量測預測與由嵌入模型306判定的目標字元的實際嵌入向量之間的歐幾里德距離的反向指數來判定前向語言模式307及/或反向語言模式308預測目標字元的機率。可使用以下方程式計算目標字元cqi的反向指數：
Figure 109145981-A0305-02-0037-3
其中cqi為目標字元的實際嵌入向量，且cqi'為藉由前向語言模式307及/或反向語言模式308預測的目標字元的嵌入向量。
因此，使用以上方程式，一或多個處理器305可判定目標字元的實際嵌入向量更接近由前向語言模式307還是反向語言模式308預測的目標字元的嵌入向量。亦即，一或多個處理器305可使用前向語言模式307來預測位置「i」處的目標字元(亦即cqi')的嵌入向量，且使用反向語言模式308來預測位置「i」處的目標字元(亦即cqi')的嵌入向量。隨後，一或多個處理器305可使用以上方程式來使用由前向語言模式307預測的目標字元的嵌入向量計算第一反向指數，且使用由反向語言模式308預測的目標字元的嵌入向量計算第二反向指數。若目標字元(亦即cqi)的實際嵌入向量更接近由前向語言模式307預測的目標字元的嵌入向量，則藉由一或多個處理器305計算的第一反向指數將高於第二反向 指數。相反，若目標字元(亦即cqi)的實際嵌入向量更接近由反向語言模式308預測的目標字元的嵌入向量，則藉由一或多個處理器305計算的第二反向指數將高於第一反向指數。
在將嵌入向量與第一輸出向量及第二輸出向量進行比較之後，方法400可進行至方塊406。在方塊406處，一或多個處理器305可基於比較來分段多個字元。為了分段字元，一或多個處理器305可判定嵌入向量(來自方塊402)與第一輸出向量(來自方塊403)之間的歐幾里德距離的反向指數是否大於嵌入向量(來自方塊402)與第二輸出向量(來自方塊404)之間的歐幾里德距離的反向指數。亦即，一或多個處理器305可判定由嵌入模型306判定的目標字元的實際嵌入向量更接近由前向語言模式307判定的第一輸出向量還是由反向語言模式308判定的第二輸出向量。
當嵌入向量與第一輸出向量之間的歐幾里德距離的反向指數大於嵌入向量與第二輸出向量之間的歐幾里德距離的反向指數時，一或多個處理器305可使目標字元與在所述字元之前的預定數目個字元配對。類似地，當嵌入向量與第二輸出向量之間的歐幾里德距離的反向指數大於嵌入向量與第一輸出向量之間的歐幾里德距離的反向指數時，一或多個處理器305可使目標字元與在所述字元之後的預定數目個字元配對。在一些實施例中，一或多個處理器305可重複步驟402至步驟406，直至在方塊401處接收到的多個字元中的每一者屬於一詞且多個字元的分段完成。
圖5示出與所揭露實施例一致的使用競爭神經字元語言模式來執行無監督斷詞的方法500的例示性實施例。如圖5中所見，一或多個處理器305可接收多個字元501a至501e。多個字元 501a至501e可包括構成產品識別符的多個字元，諸如產品品名或產品名稱。
一或多個處理器305可將多個字元501a至501e中的每一者嵌入至嵌入層502中並將多個字元501a至501e中的每一者轉換成各別向量503a至503e。因此，每一字元可由嵌入向量表示。在一些實施例中，每一各別嵌入向量503a至嵌入向量503e可為每一各別字元501a至字元501e的實際嵌入向量。舉例而言，若多個字元501a至501e包括「shoes」，則每一字母可轉換成各別向量503a至向量503e(例如「s」、「h」、「o」、「e」、「s」可各自轉換成各別向量)。
在將包含目標字元501c的每一字元501a至字元501e轉換成各別嵌入向量503a至嵌入向量503e之後，一或多個處理器305可將目標字元501c的嵌入向量503c及第一上下文嵌入向量饋入至前向語言模式504中。前向語言模式504可實行為圖3的前向語言模式504。第一上下文嵌入向量可包括與在目標字元501c之前的字元501a及字元501b相關聯的向量503a及向量503b的序列。舉例而言，在以上實例中，「shoes」中的向量「o」可為目標字元501c，且第一上下文嵌入向量可包括「sh」。前向語言模式504可包括人工神經網路，諸如循環神經網路(RNN)、閘控循環單元(GRU)、長短期記憶網路(LSTM)，或類似者。前向語言模式307接著可經組態以輸出第一輸出向量506。第一輸出向量506可包括對基於在目標字元501c之前的字元501a及字元501b的向量503a及向量503b的序列而判定的目標字元501c的嵌入向量的預測。舉例而言，前向語言模式504可基於第一上下文嵌入向量 「sh」預測目標字元501c的向量(例如前向語言模式504可能預測在「sh」之後出現的字元)。
一或多個處理器305可進一步將目標字元501c的嵌入向量503c及第二上下文嵌入向量饋入至反向語言模式505中。反向語言模式505可實行為圖3的反向語言模式308。第二上下文嵌入向量可包括與在目標字元501c之後的字元501d及字元501e相關聯的向量503d及向量503e的序列。舉例而言，在以上實例中，「shoes」中的向量「o」可為目標字元501c，且第二上下文嵌入向量可包括「es」。反向語言模式505可包括人工神經網路，諸如循環神經網路(RNN)、閘控循環單元(GRU)、長短期記憶網路(LSTM)，或類似者。反向語言模式505接著可經組態以輸出第二輸出向量507。第二輸出向量507可包括對基於在目標字元501c之後的字元501d及字元501e的向量503d及向量503e的序列而判定的目標字元501c的嵌入向量的預測。舉例而言，反向語言模式505可基於第二上下文嵌入向量「es」預測目標字元501c的向量(例如反向語言模式505可能預測在「es」之前出現的字元)。
其後，一或多個處理器可將目標字元501c的實際嵌入向量503c與第一輸出向量506及第二輸出向量507進行比較。舉例而言，一或多個處理器可將「shoes」中的目標字元「o」的實際嵌入向量503c與第一輸出向量506及第二輸出向量507進行比較。為了進行比較，一或多個處理器305可藉由判定目標字元501c的實際嵌入向量503c與由前向語言模式504預測的第一輸出向量506及由反向語言模式505預測的第二輸出向量507中的每一者之間的歐幾里德距離來計算前向語言模式504及反向語言模式 505的損失函數。所計算的損失函數可允許一或多個處理器305判定藉由前向語言模式504及反向語言模式505進行的預測的準確性。
另外或替代地，一或多個處理器305可經組態以藉由量測預測與目標字元501c的實際嵌入向量503c之間的歐幾里德距離的反向指數來判定前向語言模式504及/或反向語言模式505預測目標字元501c的機率。可使用以下方程式計算目標字元501c(「cqi」)的反向指數：
Figure 109145981-A0305-02-0041-1
其中cqi為目標字元的實際嵌入向量，且cqi'為藉由前向語言模式307及/或反向語言模式308預測的目標字元的嵌入向量。
因此，使用以上方程式，一或多個處理器305可判定目標字元的實際嵌入向量更接近由前向語言模式307還是反向語言模式308預測的目標字元的嵌入向量。亦即，一或多個處理器305可使用前向語言模式307來預測位置「i」處的目標字元(亦即cqi')的嵌入向量，且使用反向語言模式308來預測位置「i」處的目標字元(亦即cqi')的嵌入向量。隨後，一或多個處理器305可使用以上方程式來使用由前向語言模式307預測的目標字元的嵌入向量計算第一反向指數，且使用由反向語言模式308預測的目標字元的嵌入向量計算第二反向指數。若目標字元(亦即cqi)的實際嵌入向量更接近由前向語言模式307預測的目標字元的嵌入向量，則藉由一或多個處理器305計算的第一反向指數將高於第二反向指數。相反，若目標字元(亦即cqi)的實際嵌入向量更接近由反向語言模式308預測的目標字元的嵌入向量，則藉由一或多個處 理器305計算的第二反向指數將高於第一反向指數。
在將實際嵌入向量503c與第一輸出向量506及第二輸出向量507進行比較之後，一或多個處理器305可基於比較分段多個字元501a至501e並輸出分段508，諸如分段的產品品名。為了分段字元，一或多個處理器305可判定實際嵌入向量503c與第一輸出向量506之間的歐幾里德距離的反向指數是否大於實際嵌入向量503c與第二輸出向量507之間的歐幾里德距離的反向指數。舉例而言，若「shoes」中的實際嵌入向量503c「o」與第一輸出向量506之間的歐幾里德距離的反向指數大於實際嵌入向量503c「o」與第二輸出向量507之間的歐幾里德距離的反向指數，則一或多個處理器305可判定「sh」及「o」不應分段，而實際上應保持在一起作為「sho」。此過程可重複直至例示性詞「shoes」中的每一字母屬於一詞為止。
當實際嵌入向量503c與第一輸出向量506之間的歐幾里德距離的反向指數大於實際嵌入向量503c與第二輸出向量507之間的歐幾里德距離的反向指數時，一或多個處理器305可使目標字元501c與在目標字元501c之前的字元501a及字元501b配對。類似地，當實際嵌入向量503c與第二輸出向量507之間的歐幾里德距離的反向指數大於實際嵌入向量503c與第一輸出向量506之間的歐幾里德距離的反向指數時，一或多個處理器305可使目標字元501c與在目標字元501c之後的字元501d及字元501e配對。在一些實施例中，一或多個處理器305可重複這些步驟直至多個字元501a至501e中的每一者屬於一詞且多個字元501a至501e的分段完成。
儘管已參考本揭露內容的特定實施例繪示及描述本揭露內容，但應理解，可在不修改的情況下在其他環境中實踐本揭露內容。已出於示出的目的呈現前述描述。前述描述並不詳盡且不限於所揭露的精確形式或實施例。修改及調適對所屬技術領域中具有通常知識者將自本說明書的考量及所揭露實施例的實踐顯而易見。另外，儘管將所揭露實施例的態樣描述為儲存於記憶體中，但所屬技術領域中具有通常知識者應瞭解，這些態樣亦可儲存於其他類型的電腦可讀媒體上，諸如次級儲存裝置，例如硬碟或CD ROM，或其他形式的RAM或ROM、USB媒體、DVD、藍光，或其他光碟機媒體。
基於書面描述及所揭露方法的電腦程式在有經驗開發者的技能內。各種程式或程式模組可使用所屬技術領域中具有通常知識者已知的技術中的任一者來創建或可結合現有軟體來設計。舉例而言，程式區段或程式模組可以或藉助於.Net框架(.Net Framework)、.Net緊密框架(.Net Compact Framework)(及相關語言，諸如視覺培基(Visual Basic)、C等)、Java、C++、目標-C(Objective-C)、HTML、HTML/AJAX組合、XML或包含Java小程式的HTML來設計。
此外，儘管本文中已描述示出性實施例，但所屬技術領域中具有通常知識者將基於本揭露內容瞭解具有等效元件、修改、省略、(例如，各種實施例中的態樣的)組合、調適及/或更改的任何及所有實施例的範圍。申請專利範圍中的限制應基於申請專利範圍中所採用的語言來廣泛地解釋，且不限於本說明書中所描述或在本申請案的審查期間的實例。實例應視為非排他性的。另外，所 揭露方法的步驟可以包含藉由對步驟重新排序及/或插入或刪除步驟的任何方式修改。因此，希望僅將本說明書及實例視為示出性的，其中藉由以下申請專利範圍及其等效物的完整範圍指示真實範圍及精神。
400:方法
401、402、403、404、405、406:方塊

Claims (20)

  1. 一種用於斷詞的電腦實行系統，所述系統包括： 記憶體，用以儲存指令；以及 至少一個處理器，經組態以執行所述指令以進行以下操作： 接收多個字元以供分段； 使用嵌入模型將所述多個字元中的字元轉換成嵌入向量； 將所述嵌入向量及第一上下文嵌入向量序列饋入至前向語言模式中，其中所述前向語言模式經組態以輸出第一輸出向量； 將所述嵌入向量及第二上下文嵌入向量序列饋入至反向語言模式中，其中所述反向語言模式經組態以輸出第二輸出向量； 將所述嵌入向量與所述第一輸出向量及所述第二輸出向量進行比較；以及 基於所述比較分段所述多個字元， 其中將所述嵌入向量與所述第一輸出向量及所述第二輸出向量進行比較包括判定所述嵌入向量與所述第一輸出向量及所述第二輸出向量中的每一者之間的歐幾里德距離的反向指數。
  2. 如請求項1所述的系統，其中所述嵌入模型包括投影層及柔性最大傳遞函數分類器層。
  3. 如請求項1所述的系統，其中所述前向語言模式及所述反向語言模式包括循環神經網路（RNN）。
  4. 如請求項3所述的系統，其中所述前向語言模式及所述反向語言模式包括閘控循環單元（GRU）或長短期記憶網路（LSTM）中的至少一者。
  5. 如請求項1所述的系統，其中所述第一上下文嵌入向量序列包括與在所述字元之前的預定數目個字元相關聯的向量的序列。
  6. 如請求項1所述的系統，其中所述第二上下文嵌入向量序列包括與在所述字元之後的預定數目個字元相關聯的向量的序列。
  7. 如請求項5所述的系統，其中所述至少一個處理器經組態以執行所述指令，以在所述嵌入向量與所述第一輸出向量之間的所述歐幾里德距離的所述反向指數大於所述嵌入向量與所述第二輸出向量之間的所述歐幾里德距離的所述反向指數時，使所述字元與在所述字元之前的所述預定數目個字元配對。
  8. 如請求項6所述的系統，其中所述至少一個處理器經組態以執行所述指令，以在所述嵌入向量與所述第二輸出向量之間的所述歐幾里德距離的所述反向指數大於所述嵌入向量與所述第一輸出向量之間的所述歐幾里德距離的所述反向指數時，使所述字元與在所述字元之後的所述預定數目個字元配對。
  9. 如請求項1所述的系統，其中所述至少一個處理器經組態以執行所述指令，以針對用於分段的所述多個字元中的每一者重複轉換、饋入、比較以及分段的步驟直至每一字元屬於一詞。
  10. 如請求項1所述的系統，其中所述至少一個處理器經組態以執行所述指令，以基於所述多個字元中的字元的數目及平均字長來預測所述多個字元中的分段的數目。
  11. 一種用於斷詞的電腦實行方法，所述方法包括： 接收多個字元以供分段； 使用嵌入模型將所述多個字元中的字元轉換成嵌入向量； 將所述嵌入向量及第一上下文嵌入向量序列饋入至前向語言模式中，其中所述前向語言模式經組態以輸出第一輸出向量； 將所述嵌入向量及第二上下文嵌入向量序列饋入至反向語言模式中，其中所述反向語言模式經組態以輸出第二輸出向量； 將所述嵌入向量與所述第一輸出向量及所述第二輸出向量進行比較；以及 基於所述比較分段所述多個字元， 其中將所述嵌入向量與所述第一輸出向量及所述第二輸出向量進行比較包括判定所述嵌入向量與所述第一輸出向量及所述第二輸出向量中的每一者之間的歐幾里德距離的反向指數。
  12. 如請求項11所述的方法，其中所述嵌入模型包括投影層及柔性最大傳遞函數分類器層。
  13. 如請求項11所述的方法，其中所述前向語言模式及所述反向語言模式包括循環神經網路（RNN）。
  14. 如請求項13所述的方法，其中所述前向語言模式及所述反向語言模式包括閘控循環單元（GRU）或長短期記憶網路（LSTM）中的至少一者。
  15. 如請求項11所述的方法，其中所述第一上下文嵌入向量序列包括與在所述字元之前的預定數目個字元相關聯的向量的序列。
  16. 如請求項11所述的方法，其中所述第二上下文嵌入向量序列包括與在所述字元之後的預定數目個字元相關聯的向量的序列。
  17. 如請求項15所述的方法，更包括在所述嵌入向量與所述第一輸出向量之間的所述歐幾里德距離的所述反向指數大於所述嵌入向量與所述第二輸出向量之間的所述歐幾里德距離的所述反向指數時，使所述字元與在所述字元之前的所述預定數目個字元配對。
  18. 如請求項16所述的方法，更包括在所述嵌入向量與所述第二輸出向量之間的所述歐幾里德距離的所述反向指數大於所述嵌入向量與所述第一輸出向量之間的所述歐幾里德距離的所述反向指數時，使所述字元與在所述字元之後的所述預定數目個字元配對。
  19. 如請求項11所述的方法，更包括針對用於分段的所述多個字元中的每一者重複轉換、饋入、比較以及分段的步驟直至每一字元屬於一詞。
  20. 一種用於斷詞的電腦實行系統，所述系統包括： 記憶體，用以儲存指令；以及 至少一個處理器，經組態以執行所述指令以進行以下操作： 接收多個字元以供分段； 使用嵌入模型將所述多個字元中的字元轉換成嵌入向量； 將所述嵌入向量及第一上下文嵌入向量序列饋入至前向語言模式中，其中所述前向語言模式經組態以輸出第一輸出向量，且其中所述第一上下文嵌入向量序列包括與在所述字元之前的預定數目個字元相關聯的向量的序列； 將所述嵌入向量及第二上下文嵌入向量序列饋入至反向語言模式中，其中所述反向語言模式經組態以輸出第二輸出向量，且其中所述第二上下文嵌入向量序列包括與在所述字元之後的預定數目個字元相關聯的向量的序列； 將所述嵌入向量與所述第一輸出向量及所述第二輸出向量進行比較；以及 基於所述比較分段所述多個字元，其中將所述嵌入向量與所述第一輸出向量及所述第二輸出向量進行比較包括判定所述嵌入向量與所述第一輸出向量及所述第二輸出向量中的每一者之間的歐幾里德距離的反向指數。
TW109145981A 2020-05-08 2020-12-24 基於競爭神經字元語言模式斷詞之系統以及方法 TWI771841B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/869,741 2020-05-08
US16/869,741 US10817665B1 (en) 2020-05-08 2020-05-08 Systems and methods for word segmentation based on a competing neural character language model

Publications (2)

Publication Number Publication Date
TW202143150A TW202143150A (zh) 2021-11-16
TWI771841B true TWI771841B (zh) 2022-07-21

Family

ID=72944800

Family Applications (2)

Application Number Title Priority Date Filing Date
TW111122017A TW202238488A (zh) 2020-05-08 2020-12-24 基於競爭神經字元語言模式斷詞之系統以及方法
TW109145981A TWI771841B (zh) 2020-05-08 2020-12-24 基於競爭神經字元語言模式斷詞之系統以及方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
TW111122017A TW202238488A (zh) 2020-05-08 2020-12-24 基於競爭神經字元語言模式斷詞之系統以及方法

Country Status (5)

Country Link
US (2) US10817665B1 (zh)
KR (2) KR102330819B1 (zh)
SG (1) SG11202104719SA (zh)
TW (2) TW202238488A (zh)
WO (1) WO2021224676A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10817665B1 (en) * 2020-05-08 2020-10-27 Coupang Corp. Systems and methods for word segmentation based on a competing neural character language model
US11164232B1 (en) * 2021-01-15 2021-11-02 Coupang Corp. Systems and methods for intelligent extraction of attributes from product titles
CN113112007B (zh) * 2021-06-11 2021-10-15 平安科技（深圳）有限公司 神经网络中序列长度选择方法、装置、设备及存储介质
CN113591475B (zh) * 2021-08-03 2023-07-21 美的集团(上海)有限公司 无监督可解释分词的方法、装置和电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6529902B1 (en) * 1999-11-08 2003-03-04 International Business Machines Corporation Method and system for off-line detection of textual topical changes and topic identification via likelihood based methods for improved language modeling
CN107168955A (zh) * 2017-05-23 2017-09-15 南京大学 利用基于词上下文的字嵌入与神经网络的中文分词方法
TWM555499U (zh) * 2017-09-04 2018-02-11 Urad Co Ltd 產品分類系統
CN110222329A (zh) * 2019-04-22 2019-09-10 平安科技（深圳）有限公司 一种基于深度学习的中文分词方法和装置
CN110909549A (zh) * 2019-10-11 2020-03-24 北京师范大学 对古汉语进行断句的方法、装置以及存储介质

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101075228B (zh) * 2006-05-15 2012-05-23 松下电器产业株式会社 识别自然语言中的命名实体的方法和装置
KR20130014893A (ko) * 2011-08-01 2013-02-12 한국전자통신연구원 음성 인식 장치 및 방법
US9818401B2 (en) * 2013-05-30 2017-11-14 Promptu Systems Corporation Systems and methods for adaptive proper name entity recognition and understanding
US9779085B2 (en) * 2015-05-29 2017-10-03 Oracle International Corporation Multilingual embeddings for natural language processing
CN106484682B (zh) * 2015-08-25 2019-06-25 阿里巴巴集团控股有限公司 基于统计的机器翻译方法、装置及电子设备
CN107704456B (zh) * 2016-08-09 2023-08-29 松下知识产权经营株式会社 识别控制方法以及识别控制装置
US10402495B1 (en) * 2016-09-01 2019-09-03 Facebook, Inc. Abstractive sentence summarization
US11042796B2 (en) * 2016-11-03 2021-06-22 Salesforce.Com, Inc. Training a joint many-task neural network model using successive regularization
US10832000B2 (en) * 2016-11-14 2020-11-10 International Business Machines Corporation Identification of textual similarity with references
US11068658B2 (en) * 2016-12-07 2021-07-20 Disney Enterprises, Inc. Dynamic word embeddings
KR20180077847A (ko) * 2016-12-29 2018-07-09 주식회사 엔씨소프트 문장 검증 장치 및 방법
CN108536708A (zh) * 2017-03-03 2018-09-14 腾讯科技（深圳）有限公司 一种自动问答处理方法及自动问答系统
US10089742B1 (en) * 2017-03-14 2018-10-02 Adobe Systems Incorporated Automatically segmenting images based on natural language phrases
CN107038157B (zh) * 2017-05-05 2020-09-29 百度在线网络技术（北京）有限公司 基于人工智能的识别错误发现方法、装置及存储介质
US10880330B2 (en) * 2017-05-19 2020-12-29 Indiana University Research & Technology Corporation Systems and methods for detection of infected websites
US10325020B2 (en) * 2017-06-29 2019-06-18 Accenture Global Solutions Limited Contextual pharmacovigilance system
CN107807987B (zh) * 2017-10-31 2021-07-02 广东工业大学 一种字符串分类方法、系统及一种字符串分类设备
KR101846824B1 (ko) * 2017-12-11 2018-04-09 가천대학교 산학협력단 개체명 인식시스템, 방법, 및 컴퓨터 판독가능매체
JP7113474B2 (ja) * 2018-08-07 2022-08-05 国立研究開発法人情報通信研究機構 データ・セグメンテーション装置
KR101929509B1 (ko) * 2018-09-17 2018-12-14 서강대학교 산학협력단 형태소 합성 장치 및 방법
KR102260646B1 (ko) * 2018-10-10 2021-06-07 고려대학교 산학협력단 자연어 처리 시스템 및 자연어 처리에서의 단어 표현 방법
CN109815476B (zh) * 2018-12-03 2023-03-24 国网浙江省电力有限公司杭州供电公司 一种基于中文语素和拼音联合统计的词向量表示方法
CN109981631A (zh) * 2019-03-20 2019-07-05 国家计算机网络与信息安全管理中心 一种基于深度学习的xss攻击检测方法
CN110288980A (zh) * 2019-06-17 2019-09-27 平安科技（深圳）有限公司 语音识别方法、模型的训练方法、装置、设备及存储介质
US10817665B1 (en) 2020-05-08 2020-10-27 Coupang Corp. Systems and methods for word segmentation based on a competing neural character language model

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6529902B1 (en) * 1999-11-08 2003-03-04 International Business Machines Corporation Method and system for off-line detection of textual topical changes and topic identification via likelihood based methods for improved language modeling
CN107168955A (zh) * 2017-05-23 2017-09-15 南京大学 利用基于词上下文的字嵌入与神经网络的中文分词方法
TWM555499U (zh) * 2017-09-04 2018-02-11 Urad Co Ltd 產品分類系統
CN110222329A (zh) * 2019-04-22 2019-09-10 平安科技（深圳）有限公司 一种基于深度学习的中文分词方法和装置
CN110909549A (zh) * 2019-10-11 2020-03-24 北京师范大学 对古汉语进行断句的方法、装置以及存储介质

Also Published As

Publication number Publication date
TW202238488A (zh) 2022-10-01
KR102330819B1 (ko) 2021-12-01
SG11202104719SA (en) 2021-12-30
US11113468B1 (en) 2021-09-07
KR20210136791A (ko) 2021-11-17
WO2021224676A1 (en) 2021-11-11
TW202143150A (zh) 2021-11-16
KR20210145700A (ko) 2021-12-02
US10817665B1 (en) 2020-10-27

Similar Documents

Publication Publication Date Title
US11354721B2 (en) Computerized systems and methods for providing product recommendations
TWI771841B (zh) 基於競爭神經字元語言模式斷詞之系統以及方法
KR102350982B1 (ko) 인공 지능을 이용한 제품 분류를 위한 컴퓨터 시스템 및 방법
US20220222231A1 (en) Computerized systems and methods for using artificial intelligence to optimize database parameters
TWI801861B (zh) 根據產品特性決定產品價格的倉儲管理電腦實行系統以及方法
US11386478B1 (en) Computerized systems and methods for using artificial intelligence to generate product recommendations
US20220188660A1 (en) Systems and methods for processing data for storing in a feature store and for use in machine learning
TWI771861B (zh) 用於管理與監控服務及模組的電腦實行系統以及方法
TW202209203A (zh) 用於在網站伺服器上登記產品的電腦實行系統以及方法
TW202341041A (zh) 電腦實施的系統以及電腦實施的方法
TWI816077B (zh) 用於偵測產品品名中的不準確的電腦實行系統以及方法
TWI817110B (zh) 產生內文相關檢索結果之電腦系統以及方法
TW202403636A (zh) 電腦可讀媒體以及用於將動態產生的產品推薦提供至聯盟網站的電腦實行系統與方法
TW202209221A (zh) 電腦實行系統以及方法