TW202036356A - 基於梯度提升決策樹的模型訓練方法及裝置 - Google Patents

基於梯度提升決策樹的模型訓練方法及裝置 Download PDF

Info

Publication number
TW202036356A
TW202036356A TW108126524A TW108126524A TW202036356A TW 202036356 A TW202036356 A TW 202036356A TW 108126524 A TW108126524 A TW 108126524A TW 108126524 A TW108126524 A TW 108126524A TW 202036356 A TW202036356 A TW 202036356A
Authority
TW
Taiwan
Prior art keywords
training
sample set
decision tree
business scenario
trained
Prior art date
Application number
TW108126524A
Other languages
English (en)
Other versions
TWI719557B (zh
Inventor
陳超超
周俊
Original Assignee
香港商阿里巴巴集團服務有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 香港商阿里巴巴集團服務有限公司 filed Critical 香港商阿里巴巴集團服務有限公司
Publication of TW202036356A publication Critical patent/TW202036356A/zh
Application granted granted Critical
Publication of TWI719557B publication Critical patent/TWI719557B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2155—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the incorporation of unlabelled data, e.g. multiple instance learning [MIL], semi-supervised techniques using expectation-maximisation [EM] or naïve labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/01—Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G06N5/022—Knowledge engineering; Knowledge acquisition
    • G06N5/025—Extracting rules from data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G06N5/027—Frames

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Computational Linguistics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Electrically Operated Instructional Devices (AREA)

Abstract

公開了一種基於梯度提升決策樹的模型訓練方法及裝置。將一個GBDT算法流程劃分為兩個階段，在前一階段，從與目標業務場景相近的業務場景的資料域獲取已標注樣本依次訓練若干決策樹，並確定經過前一階段訓練後産生的訓練殘差；在後一階段，從目標業務場景的資料域獲取已標注樣本，並基於所述訓練殘差，繼續訓練若干決策樹。最終，應用於目標業務場景的模型實際上是由前一階段訓練出的決策樹與後一階段訓練出的決策樹整合得到的。

Description

基於梯度提升決策樹的模型訓練方法及裝置
本說明書實施例關於資訊技術領域，尤其關於一種基於梯度提升決策樹的模型訓練方法及裝置。
衆所周知，當需要訓練應用於某個業務場景的預測模型時，通常需要從該業務場景的資料域獲取大量資料進行標注，作為已標注樣本，進行模型訓練。如果已標注樣本的數量較少，則通常無法得到效果合格的模型。需要說明的是，某個業務場景的資料域，實際上是基於該業務場景所産生的業務資料的集合。 然而，實踐中，某些特殊業務場景下積累的資料較少。這導致當需要訓練應用於某個特殊業務場景的模型時，無法從該特殊業務場景的資料域獲取足夠的已標注樣本，從而無法得到效果合格的模型。
為了解決某些特殊業務場景下積累的資料較少導致無法訓練出效果合格的模型的問題，本說明書實施例提供一種基於梯度提升決策樹的模型訓練方法及裝置，技術方案如下： 根據本說明書實施例的第1態樣，提供一種基於梯度提升決策樹的模型訓練方法，用於訓練應用於目標業務場景的目標模型，所述方法包括： 獲取第一樣本集合；所述第一樣本集合是從源業務場景的資料域獲取的已標注樣本的集合；所述源業務場景是與所述目標業務場景相近的業務場景； 使用所述第一樣本集合，執行梯度提升決策樹GBDT算法流程，依次訓練至少一個決策樹，直至滿足預設的訓練暫停條件； 根據使用所述第一樣本集合訓練出的決策樹，確定訓練殘差； 獲取第二樣本集合；所述第二樣本集合是從所述目標業務場景的資料域獲取的已標注樣本的集合； 使用所述第二樣本集合，基於所述訓練殘差繼續執行GBDT算法流程，依次訓練至少一個決策樹，直至滿足預設的訓練停止條件； 其中，所述目標模型是由已訓練出的決策樹整合得到的。 根據本說明書實施例的第2態樣，提供一種預測方法，包括： 從目標業務場景的資料域獲取待預測資料； 根據所述待預測資料，確定所述待預測資料對應的模型輸入特徵； 將所述模型輸入特徵輸入到應用於所述目標業務場景的預測模型，以輸出預測結果；所述預測模型是根據上述第1態樣的方法得到的。 根據本說明書實施例的第3態樣，提供一種基於梯度提升決策樹的模型訓練裝置，用於訓練應用於目標業務場景的目標模型，所述裝置包括： 第一獲取模組，獲取第一樣本集合；所述第一樣本集合是從源業務場景的資料域獲取的已標注樣本的集合；所述源業務場景是與所述目標業務場景相近的業務場景； 第一訓練模組，使用所述第一樣本集合，執行梯度提升決策樹GBDT算法流程，依次訓練至少一個決策樹，直至滿足預設的訓練暫停條件； 計算模組，根據使用所述第一樣本集合訓練出的決策樹，確定訓練殘差； 第二獲取模組，獲取第二樣本集合；所述第二樣本集合是從所述目標業務場景的資料域獲取的已標注樣本的集合； 第二訓練模組，使用所述第二樣本集合，基於所述訓練殘差繼續執行GBDT算法流程，依次訓練至少一個決策樹，直至滿足預設的訓練停止條件； 其中，所述目標模型是由已訓練出的決策樹整合得到的。 根據本說明書實施例的第4態樣，提供一種預測裝置，包括： 獲取模組，從目標業務場景的資料域獲取待預測資料； 確定模組，根據所述待預測資料，確定所述待預測資料對應的模型輸入特徵； 輸入模組，將所述模型輸入特徵輸入到應用於所述目標業務場景的預測模型，以輸出預測結果；所述預測模型是根據上述第1態樣的方法得到的。 本說明書實施例所提供的技術方案，將一個GBDT算法流程劃分為兩個階段，在前一階段，從與目標業務場景相近的業務場景的資料域獲取已標注樣本依次訓練若干決策樹，並確定經過前一階段訓練後産生的訓練殘差；在後一階段，從目標業務場景的資料域獲取已標注樣本，並基於所述訓練殘差，繼續訓練若干決策樹。最終，應用於目標業務場景的模型實際上是由前一階段訓練出的決策樹與後一階段訓練出的決策樹整合得到的。透過本說明書實施例，雖然目標業務場景下積累的資料不足，但是，可以借助與目標業務場景相近的業務場景的資料，訓練應用於目標業務場景的模型。經過測試，可以得到效果合格的模型。 應當理解的是，以上的一般描述和後文的細節描述僅是示例性和解釋性的，並不能限制本說明書實施例。 此外，本說明書實施例中的任一實施例並不需要達到上述的全部效果。
本發明借鑒了機器學習技術領域的遷移學習思想。在面對訓練應用於目標業務場景的模型的需求時，如果目標業務場景下積累的資料不足，那麽可以利用與目標業務場景相近的業務場景下積累的資料進行模型訓練。 具體地，本發明將遷移學習思想與梯度提升決策樹(Gradient Boosting Decision Tree，GBDT)算法相結合，對GBDT算法流程進行了改進。在本說明書實施例中，針對一個GBDT算法流程，先使用與目標業務場景相近的業務場景下産生的資料進行訓練，滿足一定的訓練暫停條件之後，暫停訓練，並計算當前的訓練殘差；隨後，使用目標業務場景下産生的資料，基於所述訓練殘差繼續訓練，直到滿足一定的訓練停止條件。如此，將訓練得到的GBDT模型應用於目標業務場景，可以取得較好的預測效果。 需要說明的是，在本文中，與目標業務場景相近的業務場景，實際上是與目標業務場景相類似或相關聯的業務場景。本文將與目標業務場景相近的業務場景稱為源業務場景。 舉例來說，假設目標業務場景是男性商品推薦場景，為了更好的根據男性使用者的年齡進行商品推薦，需要訓練用於預測男性使用者年齡的模型。然而，由於男性商品推薦功能上線不久，積累的男性使用者購買記錄較少(購買記錄中記載了購買者的各種特徵資訊以及購買者的年齡)，因為無法獲得足夠的已標注樣本進行訓練。於是，可以以女性商品推薦場景為目標業務場景對應的源業務場景。由於女性商品推薦功能早已上線，已經積累了大量女性使用者購買記錄，因此，在本說明書實施例中，可以借助於積累的大量女性使用者購買記錄，使用少量的男性使用者購買記錄訓練出效果合格的，用於預測男性使用者年齡的模型。 為了使本領域技術人員更好地理解本說明書實施例中的技術方案，下面將結合本說明書實施例中的圖式，對本說明書實施例中的技術方案進行詳細地描述，顯然，所描述的實施例僅僅是本說明書的一部分實施例，而不是全部的實施例。基於本說明書中的實施例，本領域普通技術人員所獲得的所有其他實施例，都應當屬保護的範圍。 以下結合圖式，詳細說明本說明書各實施例提供的技術方案。 圖1是本說明書實施例提供的一種基於梯度提升決策樹的模型訓練方法的流程示意圖，包括以下步驟： S100：獲取第一樣本集合。 本方法的目的是訓練應用於目標業務場景的目標模型。 在本說明書實施例中，目標業務場景對應的源業務場景的資料域中積累的資料較多，可以從源業務場景的資料域中獲取大量業務資料進行標注，得到足量的已標注樣本。步驟S100中的第一樣本集合是從所述源業務場景的資料域獲取的已標注樣本的集合。 沿用前文所述的例子，目標業務場景是男性商品推薦場景，源業務場景是女性商品推薦場景。從源業務場景的資料域獲取若干已標注樣本，具體可以是從女性商品推薦場景積累的購買記錄中，獲取若干購買記錄，然後，針對獲取的每個購買記錄，從該購買記錄中提取購買者的學歷、收入、工作類型、身高等特徵資訊，構建該購買記錄對應的使用者特徵向量，然後，從該購買記錄中提取購買者的年齡，作為該使用者特徵向量的標注值，如此，得到一個已標注樣本。 S102：使用所述第一樣本集合，執行梯度提升決策樹GBDT算法流程，依次訓練至少一個決策樹，直至滿足預設的訓練暫停條件。 此處先對GBDT算法的原理進行介紹。 GBDT算法是一種典型的整合學習算法，在GBDT算法流程中，使用一些已標注樣本依次訓練出兩個以上的決策樹，然後將訓練出的各決策樹整合為一個模型，作為訓練結果。 其中，訓練的第一個決策樹實際上用於擬合各已標注樣本的標注值。訓練出第一個決策樹之後，可以計算得到當前的訓練殘差。所述訓練殘差用於特徵化，截至當前的訓練進度，對各已標注樣本進行預測得到的預測值與各已標注樣本的標注值之間的差距。可見，在一個GBDT算法流程中，每訓練出一個決策樹，所述訓練殘差會更新一次。 在GBDT算法流程中，訓練第一個決策樹之後，會繼續訓練下一個決策樹。針對除第一個決策樹之外的每個其他決策樹，該其他決策樹用於擬合根據該其他決策樹之前所有決策樹計算出的訓練殘差。如此，隨著GBDT算法流程的推進，越來越多的決策樹被依次訓練出來，所述訓練殘差會越來越小。當訓練殘差足夠小時，說明當前的模型的模型參數對各已標注樣本的標注值的擬合效果達標，此時，便可以結束訓練。 還需要說明的是，在GBDT算法中，擬合有兩層含義： 其一，訓練的第一個決策樹用於擬合樣本的標注值。此處的擬合實際上是指，針對第一個決策樹，以樣本的特徵為決策樹輸入，以樣本的標注值為決策樹輸出，訓練決策樹參數，儘量使得決策樹參數、決策樹輸入與決策樹輸出相匹配。 其二，針對後續訓練的每個決策樹，該決策樹用於擬合根據之前所有決策樹計算得到的訓練殘差。此處的擬合實際上是指，針對後續訓練的每個決策樹，以樣本的特徵為決策樹輸入，以訓練殘差為決策樹輸出，訓練決策樹參數，儘量使得決策樹參數、決策樹輸入與決策樹輸出相匹配。 而在本說明書實施例中，將GDBT算法流程拆分為兩個階段(前一階段與後一階段)。步驟S102是在前一階段所執行的步驟。具體地，在步驟S102中，使用第一樣本集合，執行GBDT算法流程，依次訓練至少一個決策樹，當滿足預設的訓練暫停條件時，暫停訓練，也就是完成前一階段的訓練。 需要說明的是，所述訓練暫停條件可以根據實際需要指定。例如，所述訓練暫停條件可以是，使用所述第一樣本集合訓練出的決策樹的數量達到第一指定數量。在實際應用中，採用對決策樹數量進行限定的方式決定暫停第一階段訓練的時機，較為直觀，方便執行。 又如，所述訓練暫停條件可以是，基於已訓練出的各決策樹計算得到的訓練殘差落入第一指定閾值區間。 S104：根據使用所述第一樣本集合訓練出的決策樹，確定訓練殘差。 當滿足所述訓練暫停條件時，暫停訓練，並根據使用所述第一樣本集合訓練出的決策樹，計算截至當前，訓練過程産生的訓練殘差。 也就是說，在步驟S104中，也就是根據前一階段訓練出的各決策樹計算當前的訓練殘差，這也意味著完成了對前一階段的階段性訓練結果的整合。 S106：獲取第二樣本集合。 其中，所述第二樣本集合是從所述目標業務場景的資料域獲取的已標注樣本的集合。 需要說明的是，一般而言，第一樣本集合中的已標注樣本的數量顯著大於第二樣本集合中的已標注樣本的數量。 還需要說明的，在本說明書實施例中，並不對執行步驟S106的時機進行限制。實際上，可以在步驟S100~S104中任一步驟之前執行步驟S106。 S108：使用所述第二樣本集合，基於所述訓練殘差繼續執行所述GBDT算法流程，依次訓練至少一個決策樹，直至滿足預設的訓練停止條件。 在前一階段之後，需要將所述訓練殘差遷移到後一階段。步驟S108是在後一階段所執行的步驟。在後一階段，使用第二樣本集合，基於所述訓練殘差，繼續執行GBDT算法流程，當滿足預設的訓練停止條件時，停止訓練，也就完成了後一階段的訓練。 在步驟S108中，實際上是使用第二樣本集合，繼承前一階段的階段性訓練結果，繼續訓練決策樹。 其中，使用所述第二樣本集合訓練出的第一個決策樹，用於擬合前一階段産生的訓練殘差。針對使用所述第二樣本集合訓練出的第一個決策樹之後的每個決策樹，該決策樹用於擬合根據該決策樹之前的所有決策樹(包括使用所述第一樣本集合訓練出的決策樹和使用所述第二樣本集合訓練出的決策樹)計算出的訓練殘差。 需要說明的是，當滿足預設的訓練停止條件時，所述後一階段才會結束(即停止訓練)。所述訓練停止條件可以根據實際需要指定。 例如，所述訓練停止條件可以是，使用所述第二樣本集合訓練出的決策樹的數量達到第二指定數量。又如，所述訓練停止條件可以是，基於已訓練的各決策樹計算得到的訓練殘差落入第二指定閾值區間。通常，所述第二閾值區間的右端點的取值小於所述第一閾值區間的左端點的取值。 透過步驟S100~S108，可以訓練出若干決策樹。於是，可以將訓練出的各決策樹進行整合，得到的應用於所述目標業務場景的目標模型。具體地，所述目標模型可以是對各決策樹，按産生順序，由先到後進行排序得到的決策樹序列。 透過圖1所示的模型訓練方法，將一個GBDT算法流程劃分為兩個階段，在前一階段，從與目標業務場景相近的業務場景的資料域獲取已標注樣本依次訓練若干決策樹，並確定經過前一階段訓練後産生的訓練殘差；在後一階段，從目標業務場景的資料域獲取已標注樣本，並基於所述訓練殘差，繼續訓練若干決策樹。最終，應用於目標業務場景的模型實際上是由第一階段訓練出的決策樹與第二階段訓練出的決策樹整合得到的。透過本說明書實施例，雖然目標業務場景下積累的資料不足，但是，可以借助與目標業務場景相近的業務場景的資料，訓練應用於目標業務場景的模型。經過測試，可以得到效果合格的模型。 此外，在本說明書實施例中，可以從不止一個源業務場景的資料域獲取已標注樣本，進行所述前一階段的訓練。例如，假設目標業務場景是男性商品推薦場景，那麽可以獲取的源業務場景為女性商品推薦場景和兒童商品推薦場景，依次使用這兩個源業務場景下産生的資料進行GBDT算法流程中前一階段的訓練。 具體地，在步驟S108之前，可以獲取獲取第三樣本集合。所述第三樣本集合是從其他源業務場景的資料域獲取的已標注樣本的集合。 接著，在步驟S108之前，使用所述第三樣本集合，基於所述訓練殘差繼續執行GBDT算法流程，依次訓練至少一個決策樹，直至滿足預設的訓練再暫停條件，並根據使用所述第一樣本集合訓練出的決策樹和使用所述第三樣本集合訓練出的決策樹，重新確定所述訓練殘差。 其中，所述訓練再暫停條件可以根據實際需要指定。例如，所述訓練暫停條件可以是，使用所述第三樣本集合訓練出的決策樹的數量達到第三指定數量。又如，所述訓練暫停條件可以是，基於已訓練出的各決策樹計算得到的訓練殘差落入第三指定閾值區間。 也就是說，在GBDT算法流程的前一階段，可以先從一個源業務場景的資料域獲取已標注樣本的集合，並開始執行GBDT算法流程。當滿足訓練暫停條件時，先暫停訓練，並計算當前的訓練殘差。隨後，更換使用另一個源業務場景對應的已標注樣本的結合，基於所述訓練殘差，繼續執行GBDT算法流程。當滿足訓練再暫停條件時，再次暫停，並重新計算當前的訓練殘差。 之後，還可以再次更換其他源業務場景，繼續進行前一階段的訓練。總之，本領域技術人員應當理解，如下技術方案應在本發明所要求的保護範圍之內： 將GBDT算法流程分為兩個階段，在前一階段，依次使用至少兩個源業務場景下産生的資料執行GBDT算法流程，在後一階段，使用目標業務場景下産生的資料繼續執行GBDT算法流程。 圖2是本說明書實施例提供的方案架構示意圖。如圖2所示，使用不止一個(圖中以3個為例)源業務場景的資料域的資料執行GBDT算法流程中前一階段的訓練，然後，使用目標業務場景的資料域的資料開始後一階段的訓練，以擬合前一階段産生的訓練殘差，最終得到模型。 如圖2所示，使用源業務場景A積累的資料開始執行GBDT算法流程，當使用源業務場景A積累的資料所訓練出的決策樹的數量達到N1 時，計算截至當前的訓練殘差，記為訓練殘差1。隨後，使用源業務場景B積累的資料，基於訓練殘差1，繼續執行GBDT算法流程，當使用源業務場景B積累的資料所訓練出的決策樹的數量達到N2 時，計算截至當前的訓練殘差，記為訓練殘差2。隨後，使用源業務場景C積累的資料，基於訓練殘差2，繼續執行GBDT算法流程，當使用源業務場景C積累的資料所訓練出的決策樹的數量達到N3 時，計算截至當前的訓練殘差，記為訓練殘差3。至此，前一階段結束。可見，在圖2中，訓練殘差3實際上就是後一階段所要繼承的訓練殘差(即步驟S108中所述訓練殘差)。 在後一階段，使用目標業務場景積累的資料，基於訓練殘差3繼續執行GBDT算法流程，當使用目標業務場景積累的資料所訓練出的決策樹的數量達到N4 時，停止訓練。 圖3是本說明書實施例提供的一種預測方法的流程示意圖，包括如下步驟： S300：從目標業務場景的資料域獲取待預測資料。 S302：根據所述待預測資料，確定所述待預測資料對應的模型輸入特徵。 S304：將所述模型輸入特徵輸入到應用於所述目標業務場景的預測模型，以輸出預測結果。 其中，所述預測模型是根據圖1所示的訓練方法得到的。 基於圖1所示的模型訓練方法，本說明書實施例還對應提供了一種基於梯度提升決策樹的模型訓練裝置，用於訓練應用於目標業務場景的目標模型，如圖4所示，所述裝置包括： 第一獲取模組401，獲取第一樣本集合；所述第一樣本集合是從源業務場景的資料域獲取的已標注樣本的集合；所述源業務場景是與所述目標業務場景相近的業務場景； 第一訓練模組402，使用所述第一樣本集合，執行梯度提升決策樹GBDT算法流程，依次訓練至少一個前決策樹，直至滿足預設的訓練暫停條件； 計算模組403，根據使用所述第一樣本集合訓練出的決策樹，確定訓練殘差； 第二獲取模組404，獲取第二樣本集合；所述第二樣本集合是從所述目標業務場景的資料域獲取的已標注樣本的集合； 第二訓練模組405，使用所述第二樣本集合，基於所述訓練殘差繼續執行GBDT算法流程，依次訓練至少一個後決策樹，直至滿足預設的訓練停止條件； 其中，所述目標模型是由已訓練出的決策樹整合得到的。 所述訓練暫停條件，具體包括： 使用所述第一樣本集合訓練出的決策樹的數量達到第一指定數量。 所述訓練停止條件，具體包括： 使用所述第一樣本集合訓練出的決策樹的數量達到第二指定數量。 所述裝置還包括： 再處理模組406，在使用所述第二樣本集合，基於所述訓練殘差繼續執行GBDT算法流程之前，獲取第三樣本集合；所述第三樣本集合是從其他源業務場景的資料域獲取的已標注樣本的集合；使用所述第三樣本集合，基於所述訓練殘差繼續執行GBDT算法流程，依次訓練至少一個決策樹，直至滿足預設的訓練再暫停條件；根據使用所述第一樣本集合訓練出的決策樹和使用所述第三樣本集合訓練出的決策樹，重新確定所述訓練殘差。 所述訓練再暫停條件，具體包括： 使用所述第三樣本集合訓練出的決策樹的數量達到第三指定數量。 基於圖3所示的預測方法，本說明書實施例還對應提供了一種預測裝置，如圖5所示，包括： 獲取模組501，從目標業務場景的資料域獲取待預測資料； 確定模組502，根據所述待預測資料，確定所述待預測資料對應的模型輸入特徵； 輸入模組503，將所述模型輸入特徵輸入到應用於所述目標業務場景的預測模型，以輸出預測結果；所述預測模型是根據圖1所示的方法得到的。 本說明書實施例還提供一種計算機設備，其至少包括記憶體、處理器及儲存在記憶體上並可在處理器上運行的計算機程式，其中，處理器執行所述程式時實現圖1所示的方法。 圖6示出了本說明書實施例所提供的一種更為具體的計算設備硬體結構示意圖，該設備可以包括：處理器1010、記憶體1020、輸入/輸出介面1030、通訊介面1040和匯流排1050。其中處理器1010、記憶體1020、輸入/輸出介面1030和通訊介面1040透過匯流排1050實現彼此之間在設備內部的通訊連接。 處理器1010可以採用通用的CPU(Central Processing Unit，中央處理器)、微處理器、應用專用積體電路(Application Specific Integrated Circuit，ASIC)、或者一個或多個積體電路等方式實現，用於執行相關程式，以實現本說明書實施例所提供的技術方案。 記憶體1020可以採用ROM(Read Only Memory，唯讀記憶體)、RAM(Random Access Memory，隨機存取記憶體)、靜態儲存設備，動態儲存設備等形式實現。記憶體1020可以儲存操作系統和其他應用程式，在透過軟體或者韌體來實現本說明書實施例所提供的技術方案時，相關的程式代碼保存在記憶體1020中，並由處理器1010來調用執行。 輸入/輸出介面1030用於連接輸入/輸出模組，以實現資訊輸入及輸出。輸入輸出/模組可以作為組件配置在設備中(圖中未示出)，也可以外接於設備以提供相應功能。其中輸入設備可以包括鍵盤、滑鼠、觸控螢幕、麥克風、各類感測器等，輸出設備可以包括顯示器、揚聲器、振動器、指示燈等。 通訊介面1040用於連接通訊模組(圖中未示出)，以實現本設備與其他設備的通訊交互。其中通訊模組可以透過有線方式(例如USB、網線等)實現通訊，也可以透過無線方式(例如行動網路、WIFI、藍牙等)實現通訊。 匯流排1050包括一通路，在設備的各個組件(例如處理器1010、記憶體1020、輸入/輸出介面1030和通訊介面1040)之間傳輸資訊。 需要說明的是，儘管上述設備僅示出了處理器1010、記憶體1020、輸入/輸出介面1030、通訊介面1040以及匯流排1050，但是在具體實施過程中，該設備還可以包括實現正常運行所必需的其他組件。此外，本領域的技術人員可以理解的是，上述設備中也可以僅包含實現本說明書實施例方案所必需的組件，而不必包含圖中所示的全部組件。 本說明書實施例還提供一種計算機可讀儲存媒體，其上儲存有計算機程式，該程式被處理器執行時實現圖1所示的方法。 計算機可讀媒體包括永久性和非永久性、可行動和非可行動媒體可以由任何方法或技術來實現資訊儲存。資訊可以是計算機可讀指令、資料結構、程式的模組或其他資料。計算機的儲存媒體的例子包括，但不限於相變記憶體(PRAM)、靜態隨機存取記憶體(SRAM)、動態隨機存取記憶體(DRAM)、其他類型的隨機存取記憶體(RAM)、唯讀記憶體(ROM)、電可擦除可程式化唯讀記憶體(EEPROM)、快閃記憶體或其他記憶體技術、唯讀光碟唯讀記憶體(CD-ROM)、數位多功能光碟(DVD)或其他光學儲存、磁盒式磁帶，磁帶磁磁碟儲存或其他磁性儲存設備或任何其他非傳輸媒體，可用於儲存可以被計算設備訪問的資訊。按照本文中的界定，計算機可讀媒體不包括暫態電腦可讀媒體(transitory media)，如調變的資料信號和載波。 透過以上的實施方式的描述可知，本領域的技術人員可以清楚地瞭解到本說明書實施例可借助軟體加必需的通用硬體平台的方式來實現。基於這樣的理解，本說明書實施例的技術方案本質上或者說對現有技術做出貢獻的部分可以以軟體産品的形式體現出來，該計算機軟體産品可以儲存在儲存媒體中，如ROM/RAM、磁碟、光碟等，包括若干指令用以使得一台計算機設備(可以是個人計算機，伺服器，或者網路設備等)執行本說明書實施例各個實施例或者實施例的某些部分所述的方法。 上述實施例闡明的系統、方法、模組或單元，具體可以由計算機晶片或實體實現，或者由具有某種功能的産品來實現。一種典型的實現設備為計算機，計算機的具體形式可以是個人計算機、膝上型計算機、蜂巢式電話、相機電話、智慧型電話、個人數位助理、媒體播放器、導航設備、電子郵件收發設備、遊戲控制台、平板計算機、可穿戴設備或者這些設備中的任意幾種設備的組合。 本說明書中的各個實施例均採用遞進的方式描述，各個實施例之間相同相似的部分互相參見即可，每個實施例重點說明的都是與其他實施例的不同之處。尤其，對於方法實施例而言，由於其基本相似於方法實施例，所以描述得比較簡單，相關之處參見方法實施例的部分說明即可。以上所描述的方法實施例僅僅是示意性的，其中所述作為分離部件說明的模組可以是或者也可以不是物理上分開的，在實施本說明書實施例方案時可以把各模組的功能在同一個或多個軟體和/或硬體中實現。也可以根據實際的需要選擇其中的部分或者全部模組來實現本實施例方案的目的。本領域普通技術人員在不付出創造性勞動的情况下，即可以理解並實施。 以上所述僅是本說明書實施例的具體實施方式，應當指出，對於本技術領域的普通技術人員來說，在不脫離本說明書實施例原理的前提下，還可以做出若干改進和潤飾，這些改進和潤飾也應視為本說明書實施例的保護範圍。
S100:步驟 S102:步驟 S104:步驟 S108:步驟 S300:步驟 S302:步驟 S304:步驟 401:第一獲取模組 402:第一訓練模組 403:計算模組 404:第二獲取模組 405:第二訓練模組 406:再處理模組 501:獲取模組 502:確定模組 503:輸入模組 1010:處理器 1020:記憶體 1030:輸入/輸出介面 1040:通訊介面 1050:匯流排
為了更清楚地說明本說明書實施例或現有技術中的技術方案，下面將對實施例或現有技術描述中所需要使用的圖式作簡單地介紹，顯而易見地，下面描述中的圖式僅僅是本說明書實施例中記載的一些實施例，對於本領域普通技術人員來講，還可以根據這些圖式獲得其他的圖式。 圖1是本說明書實施例提供的一種基於梯度提升決策樹的模型訓練方法的流程示意圖； 圖2是本說明書實施例提供的方案架構示意圖； 圖3是本說明書實施例提供的一種預測方法的流程示意圖； 圖4是本說明書實施例提供的一種基於梯度提升決策樹的模型訓練裝置的結構示意圖； 圖5是本說明書實施例提供的一種預測裝置的結構示意圖； 圖6是用於配置本說明書實施例方法的一種設備的結構示意圖。

Claims (14)

  1. 一種基於梯度提升決策樹的模型訓練方法，用於訓練應用於目標業務場景的目標模型，該方法包括： 獲取第一樣本集合；該第一樣本集合是從源業務場景的資料域獲取的已標注樣本的集合；該源業務場景是與該目標業務場景相近的業務場景； 使用該第一樣本集合，執行梯度提升決策樹GBDT算法流程，依次訓練至少一個決策樹，直至滿足預設的訓練暫停條件； 根據使用該第一樣本集合訓練出的決策樹，確定訓練殘差； 獲取第二樣本集合；該第二樣本集合是從該目標業務場景的資料域獲取的已標注樣本的集合； 使用該第二樣本集合，基於該訓練殘差繼續執行GBDT算法流程，依次訓練至少一個決策樹，直至滿足預設的訓練停止條件； 其中，該目標模型是由已訓練出的決策樹整合得到的。
  2. 如申請專利範圍第1項之方法，該訓練暫停條件，具體包括： 使用該第一樣本集合訓練出的決策樹的數量達到第一指定數量。
  3. 如申請專利範圍第1項之方法，該訓練停止條件，具體包括： 使用該第二樣本集合訓練出的決策樹的數量達到第二指定數量。
  4. 如申請專利範圍第1項之方法，在使用該第二樣本集合，基於該訓練殘差繼續執行GBDT算法流程之前，該方法還包括： 獲取第三樣本集合；該第三樣本集合是從其他源業務場景的資料域獲取的已標注樣本的集合； 使用該第三樣本集合，基於該訓練殘差繼續執行GBDT算法流程，依次訓練至少一個決策樹，直至滿足預設的訓練再暫停條件； 根據使用該第一樣本集合訓練出的決策樹和使用該第三樣本集合訓練出的決策樹，重新確定該訓練殘差。
  5. 如申請專利範圍第4項之方法，該訓練再暫停條件，具體包括： 使用該第三樣本集合訓練出的決策樹的數量達到第三指定數量。
  6. 一種預測方法，包括： 從目標業務場景的資料域獲取待預測資料； 根據該待預測資料，確定該待預測資料對應的模型輸入特徵； 將該模型輸入特徵輸入到應用於該目標業務場景的預測模型，以輸出預測結果；該預測模型是根據申請專利範圍第1~5項任一項之方法得到的。
  7. 一種基於梯度提升決策樹的模型訓練裝置，用於訓練應用於目標業務場景的目標模型，該裝置包括： 第一獲取模組，獲取第一樣本集合；該第一樣本集合是從源業務場景的資料域獲取的已標注樣本的集合；該源業務場景是與該目標業務場景相近的業務場景； 第一訓練模組，使用該第一樣本集合，執行梯度提升決策樹GBDT算法流程，依次訓練至少一個前決策樹，直至滿足預設的訓練暫停條件； 計算模組，根據使用該第一樣本集合訓練出的決策樹，確定訓練殘差； 第二獲取模組，獲取第二樣本集合；該第二樣本集合是從該目標業務場景的資料域獲取的已標注樣本的集合； 第二訓練模組，使用該第二樣本集合，基於該訓練殘差繼續執行GBDT算法流程，依次訓練至少一個後決策樹，直至滿足預設的訓練停止條件； 其中，該目標模型是由已訓練出的決策樹整合得到的。
  8. 如申請專利範圍第7項之裝置，該訓練暫停條件，具體包括： 使用該第一樣本集合訓練出的決策樹的數量達到第一指定數量。
  9. 如申請專利範圍第7項之裝置，該訓練停止條件，具體包括： 使用該第一樣本集合訓練出的決策樹的數量達到第二指定數量。
  10. 如申請專利範圍第7項之裝置，該裝置還包括： 再處理模組，在使用該第二樣本集合，基於該訓練殘差繼續執行GBDT算法流程之前，獲取第三樣本集合；該第三樣本集合是從其他源業務場景的資料域獲取的已標注樣本的集合；使用該第三樣本集合，基於該訓練殘差繼續執行GBDT算法流程，依次訓練至少一個決策樹，直至滿足預設的訓練再暫停條件；根據使用該第一樣本集合訓練出的決策樹和使用該第三樣本集合訓練出的決策樹，重新確定該訓練殘差。
  11. 如申請專利範圍第10項之裝置，該訓練再暫停條件，具體包括： 使用該第三樣本集合訓練出的決策樹的數量達到第三指定數量。
  12. 一種預測裝置，包括： 獲取模組，從目標業務場景的資料域獲取待預測資料； 確定模組，根據該待預測資料，確定該待預測資料對應的模型輸入特徵； 輸入模組，將該模型輸入特徵輸入到應用於該目標業務場景的預測模型，以輸出預測結果；該預測模型是根據申請專利範圍第1~5項任一項之方法得到的。
  13. 一種計算機設備，包括記憶體、處理器及儲存在記憶體上並可在處理器上運行的計算機程式，其中，該處理器執行該程式時實現如申請專利範圍第1至5項任一項之方法。
  14. 一種計算機設備，包括記憶體、處理器及儲存在記憶體上並可在處理器上運行的計算機程式，其中，該處理器執行該程式時實現如申請專利範圍第6該項之方法。
TW108126524A 2018-10-17 2019-07-26 基於梯度提升決策樹的模型訓練方法及裝置 TWI719557B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201811210339.9 2018-10-17
CN201811210339.9A CN109472296A (zh) 2018-10-17 2018-10-17 一种基于梯度提升决策树的模型训练方法及装置

Publications (2)

Publication Number Publication Date
TW202036356A true TW202036356A (zh) 2020-10-01
TWI719557B TWI719557B (zh) 2021-02-21

Family

ID=65664073

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108126524A TWI719557B (zh) 2018-10-17 2019-07-26 基於梯度提升決策樹的模型訓練方法及裝置

Country Status (5)

Country Link
US (1) US11157818B2 (zh)
CN (1) CN109472296A (zh)
SG (1) SG11202100918SA (zh)
TW (1) TWI719557B (zh)
WO (1) WO2020078098A1 (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109472296A (zh) * 2018-10-17 2019-03-15 阿里巴巴集团控股有限公司 一种基于梯度提升决策树的模型训练方法及装置
JP7196542B2 (ja) * 2018-11-05 2022-12-27 株式会社リコー 学習装置および学習方法
CN110033098A (zh) * 2019-03-28 2019-07-19 阿里巴巴集团控股有限公司 在线gbdt模型学习方法及装置
CN110070117B (zh) * 2019-04-08 2023-04-07 腾讯科技（深圳）有限公司 一种数据处理方法及装置
CN110348580B (zh) * 2019-06-18 2022-05-10 第四范式（北京）技术有限公司 构建gbdt模型的方法、装置及预测方法、装置
CN110942338A (zh) * 2019-11-01 2020-03-31 支付宝(杭州)信息技术有限公司 一种营销赋能策略的推荐方法、装置和电子设备
CN111353600B (zh) * 2020-02-20 2023-12-12 第四范式（北京）技术有限公司 一种异常行为检测方法及装置
US11568317B2 (en) * 2020-05-21 2023-01-31 Paypal, Inc. Enhanced gradient boosting tree for risk and fraud modeling
CN113742052B (zh) * 2020-05-29 2023-09-01 北京京东振世信息技术有限公司 批量任务处理方法和装置
CN112118259B (zh) * 2020-09-17 2022-04-15 四川长虹电器股份有限公司 一种基于提升树的分类模型的越权漏洞检测方法
CN112529624B (zh) * 2020-12-15 2024-01-09 北京百度网讯科技有限公司 生成业务预测模型的方法、装置、设备以及存储介质
CN112906905A (zh) * 2021-02-10 2021-06-04 华南师范大学 大数据和小数据相结合的人工智能方法和机器人
CN113112311B (zh) * 2021-05-12 2023-07-25 北京百度网讯科技有限公司 训练因果推断模型的方法、信息提示方法以装置
CN113705554A (zh) * 2021-08-13 2021-11-26 北京百度网讯科技有限公司 图像识别模型的训练方法、装置、设备及存储介质
CN113656692B (zh) * 2021-08-17 2023-05-30 中国平安财产保险股份有限公司 基于知识迁移算法的产品推荐方法、装置、设备及介质
CN115795289B (zh) * 2022-12-01 2024-05-28 北京淘友天下技术有限公司 特征识别方法、装置、电子设备及存储介质
CN115879914B (zh) * 2023-02-20 2023-05-12 苏州慧工云信息科技有限公司 设备保养的方法及系统

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107025154B (zh) * 2016-01-29 2020-12-01 阿里巴巴集团控股有限公司 磁盘的故障预测方法和装置
CN105868847A (zh) * 2016-03-24 2016-08-17 车智互联（北京）科技有限公司 一种购物行为的预测方法及装置
CN106548210B (zh) * 2016-10-31 2021-02-05 腾讯科技（深圳）有限公司 基于机器学习模型训练的信贷用户分类方法及装置
RU2694001C2 (ru) * 2017-11-24 2019-07-08 Общество С Ограниченной Ответственностью "Яндекс" Способ и система создания параметра качества прогноза для прогностической модели, выполняемой в алгоритме машинного обучения
CN107944874B (zh) * 2017-12-13 2021-07-20 创新先进技术有限公司 基于迁移学习的风控方法、装置及系统
RU2720905C2 (ru) * 2018-09-17 2020-05-14 Общество С Ограниченной Ответственностью "Яндекс" Способ и система для расширения поисковых запросов с целью ранжирования результатов поиска
CN109472296A (zh) * 2018-10-17 2019-03-15 阿里巴巴集团控股有限公司 一种基于梯度提升决策树的模型训练方法及装置

Also Published As

Publication number Publication date
SG11202100918SA (en) 2021-03-30
CN109472296A (zh) 2019-03-15
TWI719557B (zh) 2021-02-21
US11157818B2 (en) 2021-10-26
WO2020078098A1 (zh) 2020-04-23
US20210264291A1 (en) 2021-08-26

Similar Documents

Publication Publication Date Title
TWI719557B (zh) 基於梯度提升決策樹的模型訓練方法及裝置
CN110489345B (zh) 一种崩溃聚合方法、装置、介质和设备
WO2019237657A1 (zh) 用于生成模型的方法和装置
CN111046433A (zh) 一种基于联邦学习的模型训练方法
CN108205581B (zh) 生成数字媒介环境中的紧凑视频特征表示
US10078502B2 (en) Verification of a model of a GUI-based application
CN109214421B (zh) 一种模型训练方法、装置、及计算机设备
WO2019201511A8 (en) Method and data processing apparatus
CN109862100B (zh) 用于推送信息的方法和装置
WO2020107625A1 (zh) 视频分类方法、装置、电子设备及计算机可读存储介质
CN111612158B (zh) 模型部署方法、装置、设备和存储介质
CN110211121B (zh) 用于推送模型的方法和装置
TWI703515B (zh) 訓練改編水準評價模型、評價改編水準的方法及裝置
CN109618236A (zh) 视频评论处理方法和装置
CN109614372A (zh) 一种对象存储、读取方法、装置、及业务服务器
CN110457673A (zh) 一种自然语言转换为手语的方法及装置
CN112306447A (zh) 一种界面导航方法、装置、终端和存储介质
CN104900236A (zh) 音频信号处理
CN112037223A (zh) 图像缺陷检测方法、装置及电子设备
US11501209B2 (en) Behavior identification method, behavior identification device, non-transitory computer-readable recording medium recording therein behavior identification program, machine learning method, machine learning device, and non-transitory computer-readable recording medium recording therein machine learning program
CN116306987A (zh) 基于联邦学习的多任务学习方法及相关设备
CN105005612A (zh) 一种音乐文件的获取方法及移动终端
TWI706343B (zh) 樣本回放資料存取方法、裝置及電腦設備
CN111798263A (zh) 一种交易趋势的预测方法和装置
WO2023273621A1 (zh) 脚本生成方法、装置、设备及介质