TWI591556B - Search engine results sorting method and system - Google Patents

Search engine results sorting method and system Download PDF

Info

Publication number
TWI591556B
TWI591556B TW102122362A TW102122362A TWI591556B TW I591556 B TWI591556 B TW I591556B TW 102122362 A TW102122362 A TW 102122362A TW 102122362 A TW102122362 A TW 102122362A TW I591556 B TWI591556 B TW I591556B
Authority
TW
Taiwan
Prior art keywords
feature
sorting
query word
item
sample
Prior art date
Application number
TW102122362A
Other languages
English (en)
Other versions
TW201437933A (zh
Inventor
Yi Wang
an-xiang Zeng
Original Assignee
Alibaba Group Services Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Services Ltd filed Critical Alibaba Group Services Ltd
Publication of TW201437933A publication Critical patent/TW201437933A/zh
Application granted granted Critical
Publication of TWI591556B publication Critical patent/TWI591556B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0623—Item investigation
    • G06Q30/0625—Directed, with specific intent or strategy
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2457—Query processing with adaptation to user needs
    • G06F16/24578—Query processing with adaptation to user needs using ranking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/335—Filtering based on additional data, e.g. user or group profiles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9535—Search customisation based on user profiles and personalisation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Computational Linguistics (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Description

搜尋引擎的結果排序方法及系統
本發明涉及資料處理領域，尤其涉及一種排序方法及系統。
隨著電子商務網站的發展，搜尋排序效果的好壞，越來越多的影響到用戶的搜尋以及購物體驗。搜尋引擎系統中，搜尋結果的排序受很多因素影響，這些因素是排序系統在不斷的迭代過程中，透過積累用戶回饋，分析搜尋行為資料獲得的。這些因素透過一組特定的權重組合來對線上排序效果進行影響。目前，商品搜尋引擎透過多特徵的組合，在全局上設定一個排序模型，這組模型可以用於所有商品的排序。
在商品搜尋結果的排序模型中，針對商品質量、商品文本匹配度、商品類別點擊匹配度、商品價格匹配度、以及商品銷量等多個排序特徵都建立了評價機制。每組評價機制的背後都有一組演算法模型或者是專家知識來對全網商品進行評價，評價都是以商品在上述排序特徵上的特徵分值來體現，這些特徵分值組成了排序模型中的基礎特 徵。
這些基礎特徵在實際應用的線上排序時，針對一個特定Query(查詢)召回的商品列表中，商品的排序所依據的商品的得分是按照商品排序特徵的特徵分值的加權求和得到的。這裏就涉及到了一個加權權重的問題，不同排序特徵的特徵分值在排序過程中，權重是不同的，例如：商品銷量及商品類別的特徵分值就有較高的權重，因為它們是用戶直接關心的內容。相對而言，在電子商務的搜尋引擎中，對於評價商品文本匹配度的特徵分值就可以設定較低的權重。
目前，線上對所有商品的排序都同時使用一組排序權重參數，這組參數透過專家的專業知識進行選取，同時選取的這組排序權重參數會在線上透過A/B Test的方法進行驗證。A/B Test是指在對搜尋引擎排序效果進行最佳化時，需要比較最佳化演算法的優劣，將系統全部查詢流量均分成若干等份，選擇其中一個等份的查詢流量作為基礎測試流量，調用既有系統演算法對搜尋結果排序，並獲得用戶回饋的行為資料，計算排序效果。對於其他等份的查詢流量調用新的最佳化後的演算法對搜尋結果排序，並獲得用戶回饋的行為資料，計算排序效果。這樣透過一段時間的對比實驗，可以得出在不同搜尋排序演算法下的排序效果的對比結果。透過所述對比結果，可以選取排序效果好的搜尋排序演算法使用的權重參數。
這種權重參數選取方法存在三個大的缺陷：
(一)隨著時間的推移，前期確定的權重參數可能不再符合目前線上的實際應用環境。目前的情況是，一旦既有的基礎特徵的權重參數確定後，後期就不會對該權重參數做調整。
(二)隨著商品覆蓋範圍的增多，一組統一的線上權重參數已經無法滿足對所有商品的排序，單一模型已經不能完全最大化所有類別商品的收益了。即，對某個行業或類別的商品適合的權重參數，對另一個行業或類別的商品可能就是不合適的。
(三)由於線上的權重參數都是透過專家的既有的專業知識確定的，這就導致了模型不能自主學習，自動更新。同時，每一組的模型參數的確定，都需要經過多次A/B Test，這其中因為經驗知識的缺乏，可能導致實驗時間過長，或者實驗效果很差；而且這個過程中，會消耗大量的開發測試資源，同時權重的調整試驗也有可能影響搜尋的整體收益。
以上三個問題都有可能導致搜尋排序結果較差，進而影響線上交易。
本發明要解決的技術問題是如何對搜尋引擎結果的排序進行最佳化。
為了解決上述問題，本發明提供了一種搜尋引擎的結果排序方法，包括： 根據歷史查詢資料選取樣本對，每一樣本對中包括一個查詢詞及透過該查詢詞搜尋得到的至少兩個商品，根據樣本對中用戶透過該查詢詞搜尋得到所述商品並對所述商品發生的行為特徵設定所述商品在所述樣本對中的相對排序；計算樣本對中每一商品在該查詢詞下的各排序特徵的特徵分值；根據各樣本對中的商品在各排序特徵上的特徵分值及各樣本對中所述商品的相對排序，進行機器學習模型的訓練，得到各排序特徵的權重；對用戶當前輸入的查詢詞召回的商品列表中的各商品，按照所得到的權重進行所述商品列表中每一商品在當前輸入的查詢詞下各排序特徵的特徵分值的加權求和，根據加權求和的結果進行商品的排序。
進一步地，所述根據歷史查詢資料選取樣本對、根據樣本對中用戶透過該查詢詞搜尋得到所述商品並對所述商品發生的行為特徵設定所述商品在所述樣本對中的相對排序的步驟包括：對於用戶歷史使用的各查詢詞分別進行以下操作：根據搜尋引擎的訪問日誌、點擊日誌、以及購買日誌，分別統計在預定時間長度中該查詢詞所召回的各商品在該查詢詞下的點擊率或轉化率；計算該查詢詞所召回的每兩個商品在該查詢詞下的點擊率/轉化率之間的差值，將這些差值的絕對值的均值作 為該查詢詞的點擊率截斷臨限值/轉化率截斷臨限值；在該查詢詞所召回的商品中，將點擊率之差的絕對值大於該查詢詞對應的點擊率截斷臨限值的兩個商品和該查詢詞作為一個樣本對；該樣本對中，設定在該查詢詞下點擊率高的商品在所述樣本對中的排序優於另一商品。
進一步地，計算樣本對中每一商品在該查詢詞下的各排序特徵的特徵分值的步驟包括：對於各樣本對分別進行以下操作：透過該樣本對中的查詢詞，獲取該查詢詞下的各排序特徵；在該樣本對中商品的結構化描述資料中，提取用於計算所獲取的各排序特徵的特徵分值的屬性欄位；根據提取的屬性欄位計算所獲取的各排序特徵的特徵分值；將該樣本對中的商品替換為根據該商品的屬性欄位計算得到的一組排序特徵的特徵分值。
進一步地，根據各樣本對中的商品在各排序特徵上的特徵分值及各樣本對中所述商品的相對排序，進行機器學習模型的訓練，得到各排序特徵的權重的步驟包括：對於待建模的樣本對按照預定比例分為訓練樣本和測試樣本；根據訓練樣本裏各樣本對中的商品在各排序特徵上的特徵分值及各樣本對中所述商品的相對排序進行機器學習模型訓練，獲得各排序特徵的權重作為模型的輸出結果； 透過測試樣本對所述模型的輸出結果進行準確率檢驗；重覆根據訓練樣本進行機器學習模型訓練的步驟及準確率檢驗的步驟，直到準確率達到最佳；將準確率達到最佳時模型的輸出結果作為最終得到的各排序特徵的權重。
進一步地，根據各樣本對中的商品在各排序特徵上的特徵分值及各樣本對中所述商品的相對排序，進行機器學習模型的訓練的步驟包括：根據查詢詞所屬類別，為該查詢詞所在的樣本對標注該類別的標識；按照樣本對的類別的標識，將樣本對分為不同類別的樣本集合；分別根據不同類別的樣本集合中各樣本對中的商品在各排序特徵上的特徵分值及各樣本對中所述商品的相對排序，進行機器學習模型的訓練，得到該類別中各排序特徵的權重。
進一步地，對用戶當前輸入的查詢詞召回的商品列表中的各商品，按照所得到的權重進行所述商品列表中每一商品在當前輸入的查詢詞下各排序特徵的特徵分值的加權求和的步驟包括：按照用戶當前輸入的查詢詞對應的類別的標識，獲得該查詢詞下的各排序特徵，以及該查詢詞對應的類別中各排序特徵的權重；獲取當前輸入的查詢詞召回的商品列表；根據當前輸入的查詢詞下的排序特徵，以及所召回的 商品列表中各商品的屬性欄位，分別計算所述商品列表中各商品在當前輸入的查詢詞下各排序特徵的特徵分值；根據所獲取的權重和計算出的各排序特徵的特徵分值，對所召回的商品列表中各商品分別進行各排序特徵的特徵分值的加權求和。
本發明還提供了一種搜尋引擎的結果排序裝置，包括：樣本選取模組，用於根據歷史查詢資料選取樣本對，每一樣本對中包括一個查詢詞及透過該查詢詞搜尋得到的至少兩個商品，根據樣本對中用戶透過該查詢詞搜尋得到所述商品並對所述商品發生的行為特徵設定所述商品在所述樣本對中的相對排序；特徵分值獲取模組，用於計算樣本對中每一商品在該查詢詞下的各排序特徵的特徵分值；模型訓練模組，用於根據各樣本對中的商品在各排序特徵上的特徵分值及各樣本對中所述商品的相對排序，進行機器學習模型的訓練，得到各排序特徵的權重；排序模組，用於對用戶當前輸入的查詢詞召回的商品列表中的各商品，按照所得到的權重進行所述商品列表中每一商品在當前輸入的查詢詞下各排序特徵的特徵分值的加權求和，根據加權求和的結果進行商品的排序。
進一步地，所述樣本選取模組根據歷史查詢資料選取樣本對是指：所述樣本選取模組對於用戶歷史使用的各查詢詞分別 進行以下操作：根據搜尋引擎的訪問日誌、點擊日誌、以及購買日誌，分別統計在預定時間長度中該查詢詞所召回的各商品在該查詢詞下的點擊率或轉化率；計算該查詢詞所召回的每兩個商品在該查詢詞下的點擊率/轉化率之間的差值，將這些差值的絕對值的均值作為該查詢詞的點擊率截斷臨限值/轉化率截斷臨限值；在該查詢詞所召回的商品中，將點擊率之差的絕對值大於該查詢詞對應的點擊率截斷臨限值的兩個商品和該查詢詞作為一個樣本對；該樣本對中，設定在該查詢詞下點擊率高的商品在所述樣本對中的排序優於另一商品。
進一步地，所述特徵分值計算樣本對中每一商品在該查詢詞下的各排序特徵的特徵分值是指：所述特徵分值獲取模組對於各樣本對分別進行以下操作：透過該樣本對中的查詢詞，獲取該查詢詞下的各排序特徵；在該樣本對中商品的結構化描述資料中，提取用於計算所獲取的各排序特徵的特徵分值的屬性欄位；根據提取的屬性欄位計算所獲取的各排序特徵的特徵分值；將該樣本對中的商品替換為根據該商品的屬性欄位計算得到的一組排序特徵的特徵分值。
進一步地，所述模型訓練模組根據各樣本對中的商品在各排序特徵上的特徵分值及各樣本對中所述商品的相對排序，進行機器學習模型的訓練，得到各排序特徵的權重 是指：所述模型訓練模組對於待建模的樣本對按照預定比例分為訓練樣本和測試樣本；根據訓練樣本裏各樣本對中的商品在各排序特徵上的特徵分值及各樣本對中所述商品的相對排序進行機器學習模型訓練，獲得各排序特徵的權重作為模型的輸出結果；透過測試樣本對所述模型的輸出結果進行準確率檢驗；重覆根據訓練樣本進行機器學習模型訓練及準確率檢驗的操作，直到準確率達到最佳；將準確率達到最佳時模型的輸出結果作為最終得到的各排序特徵的權重。
進一步地，所述樣本選取模組還用於根據查詢詞所屬類別，為該查詢詞所在的樣本對標注該類別的標識；按照樣本對的類別的標識，將樣本對分為不同類別的樣本集合；所述模型訓練模組根據各樣本對中的商品在各排序特徵上的特徵分值及各樣本對中所述商品的相對排序，進行機器學習模型的訓練，得到各排序特徵的權重是指：所述模型訓練模組分別根據不同類別的樣本集合中各樣本對中的商品在各排序特徵上的特徵分值及各樣本對中所述商品的相對排序，進行機器學習模型的訓練，得到該類別中各排序特徵的權重。
進一步地，所述排序模組對用戶當前輸入的查詢詞召回的商品列表中的各商品，按照所得到的權重進行所述商品列表中每一商品在當前輸入的查詢詞下各排序特徵的特 徵分值的加權求和是指：所述排序模組按照用戶當前輸入的查詢詞對應的類別的標識，獲得該查詢詞下的各排序特徵，以及該查詢詞對應的類別中各排序特徵的權重；獲取當前輸入的查詢詞召回的商品列表；根據當前輸入的查詢詞下的排序特徵，以及所召回的商品列表中各商品的屬性欄位，分別計算所述商品列表中各商品在當前輸入的查詢詞下各排序特徵的特徵分值；根據所獲取的權重和計算出的各排序特徵的特徵分值，對所召回的商品列表中各商品分別進行各排序特徵的特徵分值的加權求和。
本發明的至少一個實施例中，能夠自動進行機器學習模型的訓練，及時更新權重參數，從而最佳化搜尋排序結果，提升用戶搜尋及購物體驗。本發明的又一個實施例中，分類別進行模型訓練，從而得到不同行業所採用的權重參數。本發明的又一個實施例中，在離線進行模型效果的預測，可減少A/B Test時間，有效提升排序效果。當然，實施本發明的任一產品必不一定需要同時達到以上所述的所有優點。
圖1是實施例一的一種排序方法的流程示意圖；圖2是實施例一中對於各查詢詞選取樣本對的流程示意圖；圖3是實施例一中對於各樣本對進行特徵分值替換的 流程示意圖；圖4是實施例一的一個例子的流程示意圖。
下面將結合圖式及實施例對本發明的技術方案進行更詳細的說明。
需要說明的是，如果不衝突，本發明實施例以及實施例中的各個特徵可以相互結合，均在本發明的保護範圍之內。另外，雖然在流程圖中示出了邏輯順序，但是在某些情況下，可以以不同於此處的順序執行所示出或描述的步驟。
實施例一，一種搜尋引擎的結果排序方法，如圖1所示，包括：S101、根據歷史查詢資料選取樣本對，每一樣本對中包括一個查詢詞及透過該查詢詞搜尋得到的至少兩個商品，根據樣本對中用戶透過該查詢詞搜尋得到所述商品並對所述商品發生的行為特徵設定所述商品在樣本對中的相對排序；S102、計算樣本對中每一商品在該查詢詞下的各排序特徵的特徵分值；S103、根據各樣本對中商品在各排序特徵上的特徵分值及各樣本對中所述商品的相對排序，進行機器學習模型的訓練，獲得各排序特徵的權重；S104、對用戶當前輸入的查詢詞召回的商品列表中的 各商品，按照所得到的權重進行所述商品列表中每一商品在當前輸入的查詢詞下各排序特徵的特徵分值的加權求和，根據加權求和的結果進行商品的排序。
本實施例中，在收到查詢請求時，根據機器學習得到的各排序特徵的權重計算每一商品的排序分值，從而對該查詢召回的商品列表中(即該查詢請求搜尋得到的商品列表)的商品排序。
在本實施例的一種備選方案中，用戶對所述商品發生的行為特徵包括用戶對所述商品在搜尋到該商品的查詢詞下的點擊率和/或轉化率。
如圖2所示，在一個具體的實施中所述步驟S101可以包括，對於用戶歷史使用的各查詢詞分別進行以下操作：步驟11、根據搜尋引擎的訪問日誌、點擊日誌、以及購買日誌，分別統計在預定時間長度(比如但不限於7天)中該查詢詞所召回的各商品在該查詢詞下的CTR(Click Through Rate，點擊率)；其中，商品在查詢詞下的點擊率或轉化率表示用戶透過該查詢詞搜尋到該商品並對所述商品進行點擊或購買的次數與該商品透過該查詢詞而展現的次數的比率。
步驟12、計算該查詢詞所召回的每兩個商品在該查詢詞下的點擊率之間的差值，將這些差值的絕對值的均值作為該查詢詞對應的點擊率截斷臨限值CTR_THRELD；比如查詢詞召回的商品有商品A、商品B和商品C，在該 查詢詞下，商品A的點擊率為CTR A，商品B的點擊率為CTR B，商品C的點擊率為CTR C，則先分別計算CTR A和CTR B的差值、CTR A和CTR C的差值、CTR C和CTR B的差值，然後再將這些差值的絕對值的均值作為CTR_THRELD；步驟13、在該查詢詞所召回的商品中，將點擊率之差的絕對值大於該查詢詞對應的點擊率截斷臨限值的兩個商品和該查詢詞作為一個樣本對；該樣本對中，設定在該查詢詞下點擊率高的商品在所述樣本對中的排序優於另一商品；即：對於該查詢詞所召回的各商品，如果該查詢詞到第一商品的點擊率減去該查詢詞到第二商品的點擊率所得到的差值，大於該查詢詞的點擊率截斷臨限值，則將該查詢詞、第一商品、第二商品作為一個樣本對。在該樣本對中，如果第一商品的點擊率高於第二商品的點擊率，則在該查詢詞對應的查詢條件下，可以認為第一商品相較於第二商品更貼近用戶的搜尋意圖，與該查詢詞的相關性更高。因此，對於在該樣本對中的相關性排序，可以設定第一商品優於第二商品。即所述商品在樣本對的相對排序中，點擊率高的商品優於另一商品。當然，可以理解的，在歷史的查詢中，第一商品在搜尋結果中的排序並不一定優先於第二商品。
對於一個查詢詞，可能會得到一個或多個樣本對；最後，還可以將所得到的各查詢詞對應的樣本對一起保存為樣本集合。
上述步驟11中，也可以是統計在預定時間長度中該查詢詞所召回的各商品在該查詢詞下的轉化率；相應的，步驟12中是計算該查詢詞所召回的每兩個商品在該查詢詞下的轉化率之間的差值，將這些差值的絕對值的均值作為該查詢詞對應的轉化率截斷臨限值；步驟13中則是將轉化率之差的絕對值大於該查詢詞對應的轉化率截斷臨限值的兩個商品作為一個樣本對；可以設定該樣本對中在該查詢詞下的轉化率高的商品和該查詢詞的相關性高於另一商品。即在樣本對中的相對排序中，設定轉化率高的商品優於另一商品。
其中，在某一查詢詞下商品的CTR是指用戶在搜尋引擎中按照該查詢詞搜尋到該商品並在該商品上發生點擊的次數與按照該查詢詞進行搜尋的次數的比值。在某一查詢詞下商品的轉化率是指用戶在搜尋引擎中按照該查詢詞搜尋到該商品並購買該商品的次數與按照該查詢詞進行搜尋的次數的比值。
這樣獲取的樣本集合中的各樣本可以表示為(query,baobei_A,baobei_B)，其中query為查詢詞，第一商品baobei_A和第二商品baobei_B都是查詢詞的召回結果(即搜尋結果)，且根據用戶在第一商品和第二商品的行為統計，確定了第一商品和第二商品在樣本對中的相對排序。
在傳統的排序模型中，訓練樣本都是透過人工標注出來的，這樣做的弊端是，需要消耗大量的人力成本。本備選方案採用Pair-wise(樣本對)的方法，提取的樣本只需 要標注一個查詢下，商品A和商品B中哪一個商品的優先度高，並不需要查詢到每個商品的排序分值。透過搜尋引擎中的用戶行為，提取這類樣本對作為樣本集合。
在對用戶當前輸入的查詢詞獲得的商品搜尋結果進行排序時，需要根據商品在各排序特徵上的特徵分值進行加權求和後的綜合排序分值得到商品的排序，每一排序特徵對用戶的搜尋意圖的影響程度可能不一樣，因此，每一排序特徵對應的權重參數也可能不同。
本備選方案中，為了提升查詢詞下搜尋結果的點擊率或轉化率，對各排序特徵的權重參數進行最佳化。透過機器學習的方式建立排序特徵、權重參數與排序結果的關係模型，對排序中各排序特徵的權重參數進行預估。在訓練模型的過程中，要根據提升目標來提取所需要的樣本集合。如果，現在的主要目標是提高查詢詞下搜尋結果的點擊率CTR，因此以用戶的點擊行為作為提取樣本的標準。如果主要目標是提高轉化率，則以購買行為作為提取樣本的標準。在其他備選方案中，對於不同的目標可以選擇不同的樣本選取策略。
在本備選方案的一種實施方式中，還可以進一步根據查詢詞所屬類別，為該查詢詞所在的樣本對標注該類別的標識。查詢詞所屬類別可事先指定。
在本實施例的一種備選方案中，所述步驟S102具體可以包括：如圖3所示，對於各樣本對分別進行以下操作： 步驟21、透過該樣本對中的查詢詞，獲取該查詢詞下的各排序特徵；步驟22、在該樣本對中商品的結構化描述資料中，提取用於計算所獲取的各排序特徵的特徵分值的屬性欄位；其中，屬性欄位即結構化描述資料中一個資料項目，不同特徵分值的計算可能需要特定的幾個資料項目，可以事先指定特徵分值和資料項目之間的對應關係；從結構化描述資料中獲得資料項目時既可以是從資料庫中查詢得到，也可以是從分散式存儲服務中提取得到；步驟23、根據提取的屬性欄位計算所獲取的各排序特徵的特徵分值；步驟24、將該樣本對中的商品替換為根據該商品的屬性欄位計算得到的一組排序特徵的特徵分值，這樣就可以還原出該查詢詞下每個商品的各排序特徵的特徵分值。
此時，樣本對表示為：(query,feature1_A,feature2_A,...,featureN_A,feature1_B,feature2_B,...,featureN_B)
其中，feature1_A,feature2_A,...,featureN_A是查詢詞query對應的第一商品A在各排序特徵上的特徵分值列表，feature1_B,feature2_B,...,featureN_B是查詢詞query對應的第二商品A在各排序特徵上的特徵分值列表；N為特徵分值的個數。
如果樣本對已標注有類別標識，則步驟21中還可以進一步獲取查詢詞的分詞資訊，查詢詞對應的類別分佈資訊，以及查詢詞對應的其他資訊。
在本實施例的一種備選方案中，所述步驟S103具體 可以包括：對於待建模的樣本對按照預定比例(比如但不限於為2：1)分為訓練樣本和測試樣本；根據訓練樣本裏各樣本對中的商品在各排序特徵上的特徵分值及各樣本對中所述商品的相對排序進行機器學習模型訓練，獲得各排序特徵的權重作為模型的輸出結果，這組權重表徵每個排序特徵在排序時的有效性；透過測試樣本對所述模型的輸出結果進行準確率檢驗；重覆根據訓練樣本進行機器學習模型訓練及準確率檢驗的步驟，直到準確率達到最佳；將準確率達到最佳時模型的輸出結果作為最終得到的各排序特徵的權重。
在該備選方案的一種實施方式中，所述根據訓練樣本進行建模的步驟中可以但不限於使用RankSVM作為模型訓練演算法。
RankSVM是一種pair-wise的排序分類演算法，它可以對一組查詢詞下屬性欄位的排序樣本進行學習，獲得到排序模型。因為RankSVM是基於SVM進行開發的，它支援各種不同的核函數進行分類，包括高斯核、多項式核、線性核等。其中，高斯核和多項式核可以將低維問題轉化為高維問題，從而提高模型的準確率，但是這兩種核的模型訓練速度較慢，同時在線上預測是複雜度也較高。而線性核雖然泛化能力較弱，但是它訓練速度較快，而且目前系統的線性排序方式比較容易結合。因此，比較優選的方 案是使用線性核。
在別的實施方式中，模型訓練也可以採用List-wise，獲得多目標集成最佳化的方法，來提高模型預測的準確性。
對原始的樣本對需轉換為RankSVM所需的特定樣本格式，而基於上述兩步驟得到的樣本對中兩個商品的各排序特徵的特徵分值列表如下，其中“1”和“0”是用於表示兩個商品在樣本對中的相對排序的標識，具有標識“1”的商品為排序在前的商品，具有標識“0”的商品為排序在後的商品：(1,feature1_A,feature2_A,...,featureN_A)
(0,feature1_B,feature2_B,...,featureN_B)
可根據該樣本對採用RankSVM演算法得到排序模型。
在本實施例的一種備選方案中，步驟S103具體可以包括：根據查詢詞所屬類別，為該查詢詞所在的樣本對標注該類別的標識；按照樣本對的類別的標識，將樣本對分為不同類別的樣本集合；分別根據不同類別的樣本集合中各樣本對中的商品在各排序特徵上的特徵分值及各樣本對中所述商品的相對排序，進行機器學習模型的訓練，得到該類別中各排序特徵的權重。
透過離線訓練獲得的各排序特徵的權重需要在線上使用；由於針對不同類別下的查詢詞對應的樣本集合會為各類別分別訓練出一個模型，不同類別下的排序特徵會有不同的權重，使線上排序根據不同類別的查詢詞有不同的效果。
在該備選方案的一種實施方式中，對用戶當前輸入的查詢詞召回的商品列表中的各商品，按照所得到的權重進行所述商品列表中每一商品在當前輸入的查詢詞下各排序特徵的特徵分值的加權求和的步驟具體可以包括：按照用戶當前輸入的查詢詞對應的類別的標識Predict_cat，獲得該查詢詞下的各排序特徵，以及該查詢詞對應的類別的排序模型model_cat，即該類別中各排序特徵的權重：(weight_1,weight_2,...,weight_N)；獲取當前輸入的查詢詞召回的商品列表；根據當前輸入的查詢詞下的排序特徵，以及所召回的商品列表中各商品的屬性欄位，分別計算所述商品列表中各商品在當前輸入的查詢詞下各排序特徵的特徵分值；每個商品的計算結果可以表示為如下的特徵分值向量：(feature1,feature2,...,featureN)；根據所獲取的權重和計算出的各排序特徵的特徵分值，對所召回的商品列表中各商品分別進行各排序特徵的特徵分值的加權求和，即按照下式分別計算各商品的得分score： 全部計算完成後就可以基於每個商品的得分，對商品列表中的各商品進行排序了。
一個具體例子如圖4所示，當用戶請求在功能變數名稱為xxx的網頁中使用查詢詞“手機”進行商品查詢時，查詢伺服器(QP伺服器)將該查詢請求發給搜尋引擎；搜尋引擎按照查詢詞的類別選擇排序模型，比如圖4中的服務行業排序模型、手機行業排序模型或其他行業排序模型；然後根據排序模型對查詢詞召回的商品進行排序，並透過查詢伺服器返回給用戶。
實施例二，一種搜尋引擎的結果排序裝置，包括：樣本選取模組，用於根據歷史查詢資料選取樣本對，每一樣本對中包括一個查詢詞及透過該查詢詞搜尋得到的至少兩個商品，根據樣本對中用戶透過該查詢詞搜尋得到所述商品並對所述商品發生的行為特徵設定所述商品在所述樣本對中的相對排序；特徵分值獲取模組，用於計算樣本對中每一商品在該查詢詞下的各排序特徵的特徵分值；模型訓練模組，用於根據各樣本對中的商品在各排序特徵上的特徵分值及各樣本對中所述商品的相對排序，進行機器學習模型的訓練，得到各排序特徵的權重；排序模組，用於對用戶當前輸入的查詢詞召回的商品列表中的各商品，按照所得到的權重進行所述商品列表中每一商品在當前輸入的查詢詞下各排序特徵的特徵分值的加權求和，根據加權求和的結果進行商品的排序。
本實施例的一種備選方案中，所述樣本選取模組根據歷史查詢資料選取樣本對具體可以是指：所述樣本選取模組對於用戶歷史使用的各查詢詞分別進行以下操作：根據搜尋引擎的訪問日誌、點擊日誌、以及購買日誌，分別統計在預定時間長度中該查詢詞所召回的各商品在該查詢詞下的點擊率或轉化率；計算該查詢詞所召回的每兩個商品在該查詢詞下的點擊率/轉化率之間的差值，將這些差值的絕對值的均值作為該查詢詞的點擊率截斷臨限值/轉化率截斷臨限值；在該查詢詞所召回的商品中，將點擊率之差的絕對值大於該查詢詞對應的點擊率截斷臨限值的兩個商品和該查詢詞作為一個樣本對；該樣本對中，設定在該查詢詞下點擊率高的商品在所述樣本對中的排序優於另一商品。
本實施例的一種備選方案中，所述特徵分值計算樣本對中每一商品在該查詢詞下的各排序特徵的特徵分值是指：所述特徵分值獲取模組對於各樣本對分別進行以下操作：透過該樣本對中的查詢詞，獲取該查詢詞下的各排序特徵；在該樣本對中商品的結構化描述資料中，提取用於計算所獲取的各排序特徵的特徵分值的屬性欄位；根據提取的屬性欄位計算所獲取的各排序特徵的特徵分值；將該樣本對中的商品替換為根據該商品的屬性欄位計算得到的 一組排序特徵的特徵分值。
本實施例的一種備選方案中，所述模型訓練模組根據各樣本對中的商品在各排序特徵上的特徵分值及各樣本對中所述商品的相對排序，進行機器學習模型的訓練，得到各排序特徵的權重是指：所述模型訓練模組對於待建模的樣本對按照預定比例分為訓練樣本和測試樣本；根據訓練樣本裏各樣本對中的商品在各排序特徵上的特徵分值及各樣本對中所述商品的相對排序進行機器學習模型訓練，獲得各排序特徵的權重作為模型的輸出結果；透過測試樣本對所述模型的輸出結果進行準確率檢驗；重覆根據訓練樣本進行機器學習模型訓練及準確率檢驗的操作，直到準確率達到最佳；將準確率達到最佳時模型的輸出結果作為最終得到的各排序特徵的權重。
該備選方案的一些實施方式中，可以透過RankSVM對訓練樣本進行建模，使用線性核進行訓練。
本實施例的一種備選方案中，所述樣本選取模組還用於根據查詢詞所屬類別，為該查詢詞所在的樣本對標注該類別的標識；按照樣本對的類別的標識，將樣本對分為不同類別的樣本集合；該備選方案中，所述模型訓練模組根據各樣本對中的商品在各排序特徵上的特徵分值及各樣本對中所述商品的相對排序，進行機器學習模型的訓練，得到各排序特徵的權重是指： 所述模型訓練模組分別根據不同類別的樣本集合中各樣本對中的商品在各排序特徵上的特徵分值及各樣本對中所述商品的相對排序，進行機器學習模型的訓練，得到該類別中各排序特徵的權重。
該備選方案中，所述排序模組對用戶當前輸入的查詢詞召回的商品列表中的各商品，按照所得到的權重進行所述商品列表中每一商品在當前輸入的查詢詞下各排序特徵的特徵分值的加權求和是指：所述排序模組按照用戶當前輸入的查詢詞對應的類別的標識，獲得該查詢詞下的各排序特徵，以及該查詢詞對應的類別中各排序特徵的權重；獲取當前輸入的查詢詞召回的商品列表；根據當前輸入的查詢詞下的排序特徵，以及所召回的商品列表中各商品的屬性欄位，分別計算所述商品列表中各商品在當前輸入的查詢詞下各排序特徵的特徵分值；根據所獲取的權重和計算出的各排序特徵的特徵分值，對所召回的商品列表中各商品分別進行各排序特徵的特徵分值的加權求和。
本領域普通技術人員可以理解上述方法中的全部或部分步驟可透過程式來指令相關硬體完成，所述程式可以存儲於電腦可讀存儲介質中，如唯讀儲存器、磁片或光碟等。可選地，上述實施例的全部或部分步驟也可以使用一個或多個積體電路來實現。相應地，上述實施例中的各模組/單元可以採用硬體的形式實現，也可以採用軟體功能模組的形式實現。本發明不限制於任何特定形式的硬體和軟 體的結合。
當然，本發明還可有其他多種實施例，在不背離本發明精神及其實質的情況下，熟悉本領域的技術人員當可根據本發明作出各種相應的改變和變形，但這些相應的改變和變形都應屬於本發明的申請專利範圍的保護範圍。

Claims (10)

  1. 一種搜尋引擎的結果排序方法，其特徵在於，包括：根據歷史查詢資料選取樣本對，每一樣本對中包括一個查詢詞及透過該查詢詞搜尋得到的至少兩個商品，根據樣本對中用戶透過該查詢詞搜尋得到該商品並對該商品發生的行為特徵設定該商品在該樣本對中的相對排序，其包括：包括：對於用戶歷史使用的各查詢詞分別進行以下操作：根據搜尋引擎的訪問日誌、點擊日誌、以及購買日誌，分別統計在預定時間長度中該查詢詞所召回的各商品在該查詢詞下的點擊率或轉化率；計算該查詢詞所召回的每兩個商品在該查詢詞下的點擊率/轉化率之間的差值，將這些差值的絕對值的均值作為該查詢詞的點擊率截斷臨限值/轉化率截斷臨限值；在該查詢詞所召回的商品中，將點擊率之差的絕對值大於該查詢詞對應的點擊率截斷臨限值的兩個商品和該查詢詞作為一個樣本對；該樣本對中，設定在該查詢詞下點擊率高的商品在該樣本對中的排序優於另一商品；計算樣本對中每一商品在該查詢詞下的各排序特徵的特徵分值；根據各樣本對中的商品在各排序特徵上的特徵分值及 各樣本對中該商品的相對排序，進行機器學習模型的訓練，得到各排序特徵的權重；對用戶當前輸入的查詢詞召回的商品列表中的各商品，按照所得到的權重進行該商品列表中每一商品在當前輸入的查詢詞下各排序特徵的特徵分值的加權求和，根據加權求和的結果進行商品的排序。
  2. 如申請專利範圍第1項所述的方法，其中，計算樣本對中每一商品在該查詢詞下的各排序特徵的特徵分值的步驟包括：對於各樣本對分別進行以下操作：透過該樣本對中的查詢詞，獲取該查詢詞下的各排序特徵；在該樣本對中商品的結構化描述資料中，提取用於計算所獲取的各排序特徵的特徵分值的屬性欄位；根據提取的屬性欄位計算所獲取的各排序特徵的特徵分值；將該樣本對中的商品替換為根據該商品的屬性欄位計算得到的一組排序特徵的特徵分值。
  3. 如申請專利範圍第1項所述的方法，其中，根據各樣本對中的商品在各排序特徵上的特徵分值及各樣本對中該商品的相對排序，進行機器學習模型的訓練，得到各排序特徵的權重的步驟包括：對於待建模的樣本對按照預定比例分為訓練樣本和測試樣本； 根據訓練樣本裏各樣本對中的商品在各排序特徵上的特徵分值及各樣本對中該商品的相對排序進行機器學習模型訓練，獲得各排序特徵的權重作為模型的輸出結果；透過測試樣本對該模型的輸出結果進行準確率檢驗；重覆根據訓練樣本進行機器學習模型訓練的步驟及準確率檢驗的步驟，直到準確率達到最佳；將準確率達到最佳時模型的輸出結果作為最終得到的各排序特徵的權重。
  4. 如申請專利範圍第1到3項中任一項所述的方法，其中，根據各樣本對中的商品在各排序特徵上的特徵分值及各樣本對中該商品的相對排序，進行機器學習模型的訓練的步驟包括：根據查詢詞所屬類別，為該查詢詞所在的樣本對標注該類別的標識；按照樣本對的類別的標識，將樣本對分為不同類別的樣本集合；分別根據不同類別的樣本集合中各樣本對中的商品在各排序特徵上的特徵分值及各樣本對中該商品的相對排序，進行機器學習模型的訓練，得到該類別中各排序特徵的權重。
  5. 如申請專利範圍第4項所述的方法，其中，對用戶當前輸入的查詢詞召回的商品列表中的各商品，按照所得到的權重進行該商品列表中每一商品在當前輸入的查詢詞下各排序特徵的特徵分值的加權求和的步驟包括：按照用戶當前輸入的查詢詞對應的類別的標識，獲得該查詢詞下的各排序特徵，以及該查詢詞對應的類別中各 排序特徵的權重；獲取當前輸入的查詢詞召回的商品列表；根據當前輸入的查詢詞下的排序特徵，以及所召回的商品列表中各商品的屬性欄位，分別計算該商品列表中各商品在當前輸入的查詢詞下各排序特徵的特徵分值；根據所獲取的權重和計算出的各排序特徵的特徵分值，對所召回的商品列表中各商品分別進行各排序特徵的特徵分值的加權求和。
  6. 一種搜尋引擎的結果排序裝置，其特徵在於，包括：樣本選取模組，用於根據歷史查詢資料選取樣本對，每一樣本對中包括一個查詢詞及透過該查詢詞搜尋得到的至少兩個商品，根據樣本對中用戶透過該查詢詞搜尋得到該商品並對該商品發生的行為特徵設定該商品在該樣本對中的相對排序；特徵分值獲取模組，用於計算樣本對中每一商品在該查詢詞下的各排序特徵的特徵分值；模型訓練模組，用於根據各樣本對中的商品在各排序特徵上的特徵分值及各樣本對中該商品的相對排序，進行機器學習模型的訓練，得到各排序特徵的權重；排序模組，用於對用戶當前輸入的查詢詞召回的商品列表中的各商品，按照所得到的權重進行該商品列表中每一商品在當前輸入的查詢詞下各排序特徵的特徵分值的加權求和，根據加權求和的結果進行商品的排序， 其中，該樣本選取模組根據歷史查詢資料選取樣本對是指：該樣本選取模組對於用戶歷史使用的各查詢詞分別進行以下操作：根據搜尋引擎的訪問日誌、點擊日誌、以及購買日誌，分別統計在預定時間長度中該查詢詞所召回的各商品在該查詢詞下的點擊率或轉化率；計算該查詢詞所召回的每兩個商品在該查詢詞下的點擊率/轉化率之間的差值，將這些差值的絕對值的均值作為該查詢詞的點擊率截斷臨限值/轉化率截斷臨限值；在該查詢詞所召回的商品中，將點擊率之差的絕對值大於該查詢詞對應的點擊率截斷臨限值的兩個商品和該查詢詞作為一個樣本對；該樣本對中，設定在該查詢詞下點擊率高的商品在該樣本對中的排序優於另一商品。
  7. 如申請專利範圍第6項所述的裝置，其中，該特徵分值計算樣本對中每一商品在該查詢詞下的各排序特徵的特徵分值是指：該特徵分值獲取模組對於各樣本對分別進行以下操作：透過該樣本對中的查詢詞，獲取該查詢詞下的各排序特徵；在該樣本對中商品的結構化描述資料中，提取用於計算所獲取的各排序特徵的特徵分值的屬性欄位；根據提取的屬性欄位計算所獲取的各排序特徵的特徵分值；將該樣本對中的商品替換為根據該商品的屬性欄位計算得到的 一組排序特徵的特徵分值。
  8. 如申請專利範圍第6項所述的裝置，其中，該模型訓練模組根據各樣本對中的商品在各排序特徵上的特徵分值及各樣本對中該商品的相對排序，進行機器學習模型的訓練，得到各排序特徵的權重是指：該模型訓練模組對於待建模的樣本對按照預定比例分為訓練樣本和測試樣本；根據訓練樣本裏各樣本對中的商品在各排序特徵上的特徵分值及各樣本對中該商品的相對排序進行機器學習模型訓練，獲得各排序特徵的權重作為模型的輸出結果；透過測試樣本對該模型的輸出結果進行準確率檢驗；重覆根據訓練樣本進行機器學習模型訓練及準確率檢驗的操作，直到準確率達到最佳；將準確率達到最佳時模型的輸出結果作為最終得到的各排序特徵的權重。
  9. 如申請專利範圍第6到8項中任一項所述的裝置，其中：該樣本選取模組還用於根據查詢詞所屬類別，為該查詢詞所在的樣本對標注該類別的標識；按照樣本對的類別的標識，將樣本對分為不同類別的樣本集合；該模型訓練模組根據各樣本對中的商品在各排序特徵上的特徵分值及各樣本對中該商品的相對排序，進行機器學習模型的訓練，得到各排序特徵的權重是指：該模型訓練模組分別根據不同類別的樣本集合中各樣本對中的商品在各排序特徵上的特徵分值及各樣本對中該 商品的相對排序，進行機器學習模型的訓練，得到該類別中各排序特徵的權重。
  10. 如申請專利範圍第9項所述的裝置，其中，該排序模組對用戶當前輸入的查詢詞召回的商品列表中的各商品，按照所得到的權重進行該商品列表中每一商品在當前輸入的查詢詞下各排序特徵的特徵分值的加權求和是指：該排序模組按照用戶當前輸入的查詢詞對應的類別的標識，獲得該查詢詞下的各排序特徵，以及該查詢詞對應的類別中各排序特徵的權重；獲取當前輸入的查詢詞召回的商品列表；根據當前輸入的查詢詞下的排序特徵，以及所召回的商品列表中各商品的屬性欄位，分別計算該商品列表中各商品在當前輸入的查詢詞下各排序特徵的特徵分值；根據所獲取的權重和計算出的各排序特徵的特徵分值，對所召回的商品列表中各商品分別進行各排序特徵的特徵分值的加權求和。
TW102122362A 2013-03-28 2013-06-24 Search engine results sorting method and system TWI591556B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310105175.4A CN104077306B (zh) 2013-03-28 2013-03-28 一种搜索引擎的结果排序方法及系统

Publications (2)

Publication Number Publication Date
TW201437933A TW201437933A (zh) 2014-10-01
TWI591556B true TWI591556B (zh) 2017-07-11

Family

ID=51598566

Family Applications (1)

Application Number Title Priority Date Filing Date
TW102122362A TWI591556B (zh) 2013-03-28 2013-06-24 Search engine results sorting method and system

Country Status (5)

Country Link
US (1) US9818142B2 (zh)
JP (1) JP6152173B2 (zh)
CN (1) CN104077306B (zh)
TW (1) TWI591556B (zh)
WO (1) WO2014160648A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10572929B2 (en) 2017-11-24 2020-02-25 Industrial Technology Research Institute Decision factors analyzing device and decision factors analyzing method
TWI784218B (zh) * 2019-12-11 2022-11-21 中華電信股份有限公司 商品排名裝置以及商品排名方法

Families Citing this family (90)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8661403B2 (en) 2011-06-30 2014-02-25 Truecar, Inc. System, method and computer program product for predicting item preference using revenue-weighted collaborative filter
US9524319B2 (en) * 2013-04-30 2016-12-20 Wal-Mart Stores, Inc. Search relevance
US9524520B2 (en) * 2013-04-30 2016-12-20 Wal-Mart Stores, Inc. Training a classification model to predict categories
US20160321728A1 (en) 2014-03-31 2016-11-03 Rakuten, Inc. Purchase management device, purchase management method, program, and recording medium
US9633085B2 (en) * 2014-06-06 2017-04-25 Macy's West Stores, Inc. Method for calculating relevancy scores of search results
US20160364783A1 (en) * 2014-06-13 2016-12-15 Truecar, Inc. Systems and methods for vehicle purchase recommendations
US10592781B2 (en) * 2014-07-18 2020-03-17 The Boeing Company Devices and method for scoring data to quickly identify relevant attributes for instant classification
CN105808541B (zh) * 2014-12-29 2019-11-08 阿里巴巴集团控股有限公司 一种信息匹配处理方法和装置
WO2016122481A1 (en) * 2015-01-28 2016-08-04 Hewlett Packard Enterprise Development Lp Product portfolio rationalization
CN105005579A (zh) * 2015-05-28 2015-10-28 携程计算机技术（上海）有限公司 Ota网站中酒店房型个性化排序方法及系统
CN106445971A (zh) * 2015-08-11 2017-02-22 北京奇虎科技有限公司 一种应用推荐方法和系统
CN106504011B (zh) * 2015-09-06 2019-11-05 阿里巴巴集团控股有限公司 一种业务对象的展示方法和装置
US10417578B2 (en) * 2015-09-25 2019-09-17 Conduent Business Services, Llc Method and system for predicting requirements of a user for resources over a computer network
EP3374947A4 (en) * 2015-11-09 2019-03-27 Simbe Robotics, Inc. METHOD FOR FOLLOWING A STOCK LEVEL IN A STORE
CN106774970B (zh) * 2015-11-24 2021-08-20 北京搜狗科技发展有限公司 对输入法的候选项进行排序的方法和装置
CN106844379A (zh) * 2015-12-04 2017-06-13 北京国双科技有限公司 关键词投放的处理方法及装置
EP3190550A1 (en) * 2016-01-11 2017-07-12 Nintendo Co., Ltd. Method and device for refining selection of items as a function of a multicomponent score criterion
US10891019B2 (en) * 2016-02-29 2021-01-12 Huawei Technologies Co., Ltd. Dynamic thumbnail selection for search results
CN107153630B (zh) * 2016-03-04 2020-11-06 阿里巴巴集团控股有限公司 一种机器学习系统的训练方法和训练系统
US11580582B1 (en) * 2016-03-08 2023-02-14 Gerald McLaughlin Method and system for description database creation, organization, and use
CN106021374A (zh) * 2016-05-11 2016-10-12 百度在线网络技术（北京）有限公司 查询结果的底层召回方法和装置
CN109564619A (zh) 2016-05-19 2019-04-02 思比机器人公司 跟踪商店内的货架上的产品的放置的方法
JP6250106B1 (ja) * 2016-07-05 2017-12-20 ヤフー株式会社 情報解析装置、情報解析方法、および情報解析プログラム
CN107622056B (zh) * 2016-07-13 2021-03-02 百度在线网络技术（北京）有限公司 训练样本的生成方法和装置
US10769156B2 (en) 2016-08-26 2020-09-08 Microsoft Technology Licensing, Llc Rank query results for relevance utilizing external context
CN106484766B (zh) * 2016-09-07 2019-10-22 北京百度网讯科技有限公司 基于人工智能的搜索方法和装置
CN106502881B (zh) * 2016-09-20 2022-01-14 北京三快在线科技有限公司 一种商品排序规则的测试方法和装置
US20180139328A1 (en) * 2016-11-17 2018-05-17 Interactive Intelligence Group, Inc. System and method for managing contact center system
CN106503258B (zh) * 2016-11-18 2020-05-12 深圳市世强元件网络有限公司 一种网站站内精确搜索方法
CN108108380B (zh) * 2016-11-25 2022-05-31 阿里巴巴集团控股有限公司 搜索排序方法、搜索排序装置、搜索方法和搜索装置
CN106874352A (zh) * 2016-12-28 2017-06-20 河北中废通网络技术有限公司 一种搜索因子调整的方法
CN108509461A (zh) * 2017-02-28 2018-09-07 华为技术有限公司 一种基于强化学习的排序学习方法及服务器
JP6723182B2 (ja) * 2017-03-17 2020-07-15 ヤフー株式会社 情報処理装置、情報処理方法、およびプログラム
CN107103519A (zh) * 2017-05-02 2017-08-29 深圳市水觅网络发展有限公司 一种可购买商品多种消费模式的网络购物系统
CN107341176B (zh) * 2017-05-23 2020-05-29 北京三快在线科技有限公司 一种样本权重设置方法及装置，电子设备
US10839419B2 (en) 2018-01-09 2020-11-17 International Business Machines Corporation Multi-layered product value score generation
CN108304512B (zh) * 2018-01-19 2021-05-25 北京奇艺世纪科技有限公司 一种视频搜索引擎粗排序方法、装置及电子设备
CN108335137B (zh) * 2018-01-31 2021-07-30 北京三快在线科技有限公司 排序方法及装置、电子设备、计算机可读介质
US10915538B2 (en) * 2018-03-23 2021-02-09 Home Depot Product Authority, Llc Ranking and presenting search engine results based on category-specific ranking models
US10395306B1 (en) * 2018-04-25 2019-08-27 Sourceability North America LLC Electronic component sourcing user interface
CN108875776B (zh) * 2018-05-02 2021-08-20 北京三快在线科技有限公司 模型训练方法和装置、业务推荐的方法和装置、电子设备
WO2019237298A1 (en) 2018-06-14 2019-12-19 Beijing Didi Infinity Technology And Development Co., Ltd. Systems and methods for on-demand services
US11257141B2 (en) 2018-06-20 2022-02-22 Simbe Robotics, Inc. Method for managing click and delivery shopping events
CN109032375B (zh) * 2018-06-29 2022-07-19 北京百度网讯科技有限公司 候选文本排序方法、装置、设备及存储介质
CN110737816A (zh) * 2018-07-02 2020-01-31 北京三快在线科技有限公司 排序方法、装置、电子设备及可读存储介质
CN109191229A (zh) * 2018-07-16 2019-01-11 三星电子（中国）研发中心 增强现实装饰物推荐方法及装置
CN109189904A (zh) * 2018-08-10 2019-01-11 上海中彦信息科技股份有限公司 个性化搜索方法及系统
US10970400B2 (en) * 2018-08-14 2021-04-06 Kenna Security, Inc. Multi-stage training of machine learning models
CN110968767B (zh) * 2018-09-28 2023-03-31 北京嘀嘀无限科技发展有限公司 排序引擎训练方法及装置、业务卡排序方法及装置
CN109299344B (zh) * 2018-10-26 2020-12-29 Oppo广东移动通信有限公司 排序模型的生成方法、搜索结果的排序方法、装置及设备
JP7243333B2 (ja) * 2019-03-15 2023-03-22 富士通株式会社 情報処理方法、情報処理プログラム、および情報処理装置
CN110175883A (zh) * 2019-04-10 2019-08-27 拉扎斯网络科技（上海）有限公司 一种排序方法、装置、电子设备和非易失性存储介质
JP7042770B2 (ja) * 2019-04-17 2022-03-28 ヤフー株式会社 情報処理装置、情報処理方法、およびプログラム
US10902298B2 (en) 2019-04-29 2021-01-26 Alibaba Group Holding Limited Pushing items to users based on a reinforcement learning model
CN110263245B (zh) * 2019-04-29 2020-08-21 阿里巴巴集团控股有限公司 基于强化学习模型向用户推送对象的方法和装置
US11599548B2 (en) * 2019-07-01 2023-03-07 Kohl's, Inc. Utilize high performing trained machine learning models for information retrieval in a web store
CN110377831B (zh) * 2019-07-25 2022-05-17 拉扎斯网络科技（上海）有限公司 检索方法、装置、可读存储介质和电子设备
CN110765349A (zh) * 2019-09-27 2020-02-07 上海麦克风文化传媒有限公司 一种自动排序权重操作方法
CN112579767B (zh) * 2019-09-29 2024-05-03 北京搜狗科技发展有限公司 搜索处理方法、装置和用于搜索处理的装置
US11720947B2 (en) 2019-10-17 2023-08-08 Ebay Inc. Method, media, and system for generating diverse search results for presenting to a user
US11107035B2 (en) 2019-11-25 2021-08-31 Simbe Robotics, Inc. Method for tracking and maintaining inventory in a store
CN111221943B (zh) * 2020-01-13 2023-08-08 口口相传(北京)网络技术有限公司 查询结果匹配度计算方法及装置
US11625644B1 (en) * 2020-02-18 2023-04-11 Amazon Technologies, Inc. Multi-objective ranking of search results
CN111400343B (zh) * 2020-03-10 2023-11-17 汇信软投(佛山)软件科技发展有限公司 匹配产品模具的查询方法、装置及计算机设备
CN113536156B (zh) * 2020-04-13 2024-05-28 百度在线网络技术（北京）有限公司 搜索结果排序方法、模型构建方法、装置、设备和介质
KR102418953B1 (ko) * 2020-05-11 2022-07-11 네이버 주식회사 쇼핑 검색 결과 확장 방법 및 시스템
CN111581545B (zh) * 2020-05-12 2023-09-19 腾讯科技（深圳）有限公司 一种召回文档的排序方法及相关设备
CN112084307B (zh) * 2020-09-14 2023-11-17 腾讯科技（深圳）有限公司 一种数据处理方法、装置、服务器及计算机可读存储介质
CN112100444B (zh) * 2020-09-27 2022-02-01 四川长虹电器股份有限公司 一种基于机器学习的搜索结果排序方法及系统
CN113744015B (zh) * 2020-10-20 2024-08-20 北京沃东天骏信息技术有限公司 一种排序方法、装置、设备及计算机存储介质
CN112100529B (zh) * 2020-11-17 2021-03-19 北京三快在线科技有限公司 搜索内容排序方法、装置、存储介质和电子设备
CN113781146A (zh) * 2020-11-17 2021-12-10 北京沃东天骏信息技术有限公司 产品信息的推荐方法、装置、设备和存储介质
CN112686695B (zh) * 2020-12-25 2024-06-04 郑州阿帕斯数云信息科技有限公司 广告位的广告填充方法及广告客户端和电子设备
US11893385B2 (en) 2021-02-17 2024-02-06 Open Weaver Inc. Methods and systems for automated software natural language documentation
US12106094B2 (en) 2021-02-24 2024-10-01 Open Weaver Inc. Methods and systems for auto creation of software component reference guide from multiple information sources
US11836069B2 (en) 2021-02-24 2023-12-05 Open Weaver Inc. Methods and systems for assessing functional validation of software components comparing source code and feature documentation
US11960492B2 (en) 2021-02-24 2024-04-16 Open Weaver Inc. Methods and systems for display of search item scores and related information for easier search result selection
US11836202B2 (en) * 2021-02-24 2023-12-05 Open Weaver Inc. Methods and systems for dynamic search listing ranking of software components
US11921763B2 (en) 2021-02-24 2024-03-05 Open Weaver Inc. Methods and systems to parse a software component search query to enable multi entity search
US11947530B2 (en) 2021-02-24 2024-04-02 Open Weaver Inc. Methods and systems to automatically generate search queries from software documents to validate software component search engines
US11853745B2 (en) 2021-02-26 2023-12-26 Open Weaver Inc. Methods and systems for automated open source software reuse scoring
CN113177162B (zh) * 2021-06-29 2022-04-22 北京达佳互联信息技术有限公司 搜索结果的排序方法、装置、电子设备和存储介质
US20230058770A1 (en) * 2021-08-19 2023-02-23 The Boston Consulting Group, Inc. Insight capturing engine in a data analytics system
CN113673866A (zh) * 2021-08-20 2021-11-19 上海寻梦信息技术有限公司 农作物决策方法、模型训练方法以及相关设备
CN113724015A (zh) * 2021-09-07 2021-11-30 北京沃东天骏信息技术有限公司 确定目标显示页面的方法、装置、电子设备及存储介质
JP7127749B2 (ja) 2021-12-09 2022-08-30 オムロン株式会社 推奨情報特定装置、推奨情報特定システム、推奨情報特定方法、及びプログラム
CN114186682A (zh) * 2021-12-10 2022-03-15 北京达佳互联信息技术有限公司 搜索视频排序网络的训练方法、搜索视频排序方法和装置
CN114282965A (zh) * 2021-12-21 2022-04-05 唯品会(广州)软件有限公司 召回方案评估方法、装置及计算机设备
WO2023142042A1 (zh) * 2022-01-29 2023-08-03 华为技术有限公司 排序模型训练方法、装置及存储介质
CN115186163B (zh) * 2022-06-27 2023-04-07 北京百度网讯科技有限公司 搜索结果排序模型的训练与搜索结果排序方法、装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7246110B1 (en) 2000-05-25 2007-07-17 Cnet Networks, Inc. Product feature and relation comparison system
CN100495392C (zh) * 2003-12-29 2009-06-03 西安迪戈科技有限责任公司 一种智能搜索方法
US7925651B2 (en) 2007-01-11 2011-04-12 Microsoft Corporation Ranking items by optimizing ranking cost function
US20080255925A1 (en) 2007-04-16 2008-10-16 Aditya Vailaya Systems and methods for generating value-based information
CN100557612C (zh) * 2007-11-15 2009-11-04 深圳市迅雷网络技术有限公司 一种基于搜索引擎的搜索结果排序方法及装置
US8301638B2 (en) 2008-09-25 2012-10-30 Microsoft Corporation Automated feature selection based on rankboost for ranking
CN101604341A (zh) * 2009-01-07 2009-12-16 北京中加国道科技有限公司 一种评价网络学术资源重要性的新方法
CN101957859B (zh) * 2010-10-15 2012-08-08 西安电子科技大学 基于集成支撑矢量机排序的信息检索方法
CN102004782A (zh) * 2010-11-25 2011-04-06 北京搜狗科技发展有限公司 一种搜索结果排序方法和搜索结果排序器
CN102591876A (zh) 2011-01-14 2012-07-18 阿里巴巴集团控股有限公司 搜索结果排序方法及装置
JP5451673B2 (ja) 2011-03-28 2014-03-26 ヤフー株式会社 検索ランキング生成装置及び方法
US8843477B1 (en) * 2011-10-31 2014-09-23 Google Inc. Onsite and offsite search ranking results

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10572929B2 (en) 2017-11-24 2020-02-25 Industrial Technology Research Institute Decision factors analyzing device and decision factors analyzing method
TWI784218B (zh) * 2019-12-11 2022-11-21 中華電信股份有限公司 商品排名裝置以及商品排名方法

Also Published As

Publication number Publication date
CN104077306A (zh) 2014-10-01
JP2016511906A (ja) 2016-04-21
US9818142B2 (en) 2017-11-14
JP6152173B2 (ja) 2017-06-21
CN104077306B (zh) 2018-05-11
TW201437933A (zh) 2014-10-01
WO2014160648A1 (en) 2014-10-02
US20140297476A1 (en) 2014-10-02

Similar Documents

Publication Publication Date Title
TWI591556B (zh) Search engine results sorting method and system
CN107562818B (zh) 信息推荐系统及方法
CN109902708B (zh) 一种推荐模型训练方法及相关装置
CN104866474B (zh) 个性化数据搜索方法及装置
CN106251174A (zh) 信息推荐方法及装置
CN107122980B (zh) 识别商品所属类目的方法和装置
CN105760400B (zh) 一种基于搜索行为的推送消息排序方法及装置
CN104679771B (zh) 一种个性化数据搜索方法和装置
WO2017121251A1 (zh) 一种信息推送方法及装置
CN107862022B (zh) 文化资源推荐系统
CN102799591B (zh) 一种提供推荐词的方法及装置
CN105469263A (zh) 一种商品推荐方法及装置
US20150186938A1 (en) Search service advertisement selection
US20160285672A1 (en) Method and system for processing network media information
JP2016505178A (ja) ユーザ参加による検索エンジンソーティング方法
JP2015515079A (ja) キーワードの推薦
US11257019B2 (en) Method and system for search provider selection based on performance scores with respect to each search query
CN106445954B (zh) 一种业务对象的展示方法和装置
WO2018232331A1 (en) Systems and methods for optimizing and simulating webpage ranking and traffic
CN106126544B (zh) 一种互联网内容的投放方法及装置
CN103886486A (zh) 一种基于支持向量机svm的电子商务推荐方法
CN109446402B (zh) 一种搜索方法及装置
CN113254810B (zh) 搜索结果输出方法、装置、计算机设备及可读存储介质
CN104346428A (zh) 信息处理装置、信息处理方法及程序
CN117455621A (zh) 个性化推荐方法、装置、存储介质及计算机设备