TW201911141A

TW201911141A - 訓練模型的方法及裝置

Info

Publication number: TW201911141A
Application number: TW107115704A
Authority: TW
Inventors: 解嶺; 小龍李
Original assignee: 香港商阿里巴巴集團服務有限公司
Priority date: 2017-07-28
Filing date: 2018-05-09
Publication date: 2019-03-16
Also published as: TWI700648B; CN111756754A; SG11202000749RA; US10929558B2; EP3646225A1; US10867071B2; EP3646225B1; CN111756754B; CN109309652A; US20190034658A1; CN109309652B; WO2019023692A1; US20200125762A1

Abstract

本說明書實施例公開了一種訓練模型的方法及裝置。在本說明書實施例中，在服務設備的可信區內對加密資料進行解密得到用戶資料，以及在該可信區內採用用戶資料訓練模型。

Description

訓練模型的方法及裝置

本發明涉及資訊技術領域，尤其涉及一種訓練模型的方法及裝置。

目前，服務提供商使用自己訓練的模型為企業或個人等用戶提供預測、風控、預警等服務的模式已經日漸成熟。在這種模式下，服務提供商所提供的服務質量的好壞很大程度上取決於其訓練的模型是否準確。　　眾所周知，用於訓練模型的樣本越豐富、越多樣化，訓練得到的模型的準確度也會越高。但是在獲取資料的時候，有時候會存在資料隱私問題。　　基於現有技術，需要一種訓練模型的方法，在保護用戶隱私不洩露的情況下，提高服務提供商的模型的準確度。

本說明書實施例提供一種訓練模型的方法及裝置，以解決如何在保護用戶隱私不洩露的情況下，提高服務提供商的模型的準確度的問題。　　為解決上述技術問題，本說明書實施例是這樣實現的：　　本說明書實施例提供的一種訓練模型的方法，服務設備中具有可信區，該方法包括：　　該服務設備接收用戶設備發送的加密資料；　　在該可信區內，解密該加密資料得到用戶資料；　　在該可信區內，採用該用戶資料訓練模型。　　本說明書實施例提供的一種訓練模型的方法，服務設備中具有可信區，該方法包括：　　用戶設備對用戶資料進行加密，得到加密資料；　　將該加密資料發送給服務設備，以使該服務設備在該可信區內，解密該加密資料得到該用戶資料，並採用該用戶資料訓練模型。　　本說明書實施例提供的一種訓練模型的裝置，該裝置中具有可信區，該裝置包括：　　接收模組，接收用戶設備發送的加密資料；　　解密模組，在該可信區內，解密該加密資料得到用戶資料；　　訓練模組，在該可信區內，採用該用戶資料訓練模型。　　本說明書實施例提供的一種訓練模型的裝置，服務設備中具有可信區，該裝置包括：　　加密模組，對用戶資料進行加密，得到加密資料；　　發送模組，將該加密資料發送給服務設備，以使該服務設備在該可信區內，解密該加密資料得到該用戶資料，並採用該用戶資料訓練模型。　　本說明書實施例提供的一種服務設備，該服務設備中具有可信區，該服務設備包括一個或多個處理器及記憶體，該記憶體儲存有程式，並且被配置成由該一個或多個處理器執行以下步驟：　　接收用戶設備發送的加密資料；　　在該可信區內，解密該加密資料得到用戶資料；　　在該可信區內，採用該用戶資料訓練模型。　　本說明書實施例提供的一種用戶設備，服務設備中具有可信區，該用戶設備包括一個或多個處理器及記憶體，該記憶體儲存有程式，並且被配置成由該一個或多個處理器執行以下步驟：　　對用戶資料進行加密，得到加密資料；　　將該加密資料發送給服務設備，以使該服務設備在該可信區內，解密該加密資料得到該用戶資料，並採用該用戶資料訓練模型。　　由以上本說明書實施例提供的技術方案可見，在本說明書實施例中，在服務設備的可信區內對加密資料進行解密得到用戶資料，以及在可信區內採用用戶資料訓練模型。如此一來，一方面，採用包含用戶隱私的更為全面的用戶資料訓練模型，得到的模型準確度較高。另一方面，用戶資料只暴露在可信區內，即便是服務設備的擁有者，也無法獲取可信區內的用戶資料，用戶隱私也就不會洩露。

如先前技術所述，現有技術中，服務提供商一般直接採用用戶提供的資料作為樣本對模型進行訓練。顯然，用戶往往不會將涉及用戶隱私的資料提供給服務提供商，這就導致用於訓練模型的資料樣本不夠全面，進而導致服務提供商訓練得到的模型準確性較低。　　例如，假設服務提供商負責訓練用於預測企業盈虧情況的模型，如果某個企業用戶想要預測自己未來的盈虧情況，往往只會向服務提供商提供自己的銷售資料，作為用於訓練模型的樣本。但服務提供商為了盡可能提升模型的準確度，往往還會要求該企業用戶提供財務報表（財務報表能夠精確的體現出企業的盈虧情況），以獲取更為全面的用戶資料作為樣本。顯然，財務報表對於很多企業來說都可能是隱私資料。　　可見，在上述的服務模式中，如何在保護用戶的隱私資料不洩露的情況下，提高服務提供商的模型的準確度，是一個亟待解決的問題。　　本發明的核心思想是將服務設備中具有的可信區作為與外部隔離的執行環境，在該可信區中對加密資料進行解密得到用戶資料，以及在可信區內採用用戶資料訓練模型，使得整個訓練模型的過程中，用戶資料始終不會暴露給可信區之外，從而保護了用戶隱私。其中，該可信區可以具體位於服務設備的中央處理器（Central Processing Unit，CPU）內，也可以具體位於服務設備的其他組件內，例如圖形處理器（Graphics Processing Unit，GPU）、記憶體等。為了描述的方便，在本說明書的一個或多個實施例中，以服務設備中的可信區具體位於服務設備的CPU中為例展開說明，但本領域技術人員應當理解，這並不構成對本發明所要求保護的技術方案的限制。　　為了使本技術領域的人員更好地理解本發明中的技術方案，下面將結合本說明書一個或多個實施例中的圖式，對本說明書實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本發明一部分實施例，而不是全部的實施例。基於本發明中的實施例，本領域普通技術人員在沒有作出創造性勞動前提下所獲得的所有其他實施例，都應當屬於本發明保護的範圍。　　以下結合圖式，詳細說明本發明各實施例提供的技術方案。　　圖1是本說明書實施例提供的訓練模型的方法流程圖，包括以下步驟：　　S100：用戶設備對用戶資料進行加密，得到加密資料。　　S102：用戶設備將該加密資料發送給服務設備。　　在本說明書實施例中，用戶設備是儲存有訓練模型所需的用戶資料的設備，這些用戶資料往往是隱私資料。例如，某個企業用戶想要預測自己未來的盈虧情況，需要可以預測企業盈虧情況的模型的服務，那麼該企業用戶的伺服器就可以是用戶設備。用戶設備中儲存有用戶資料，用戶資料往往涉及用戶的隱私。　　而服務設備即為服務提供商的設備，是模型的擁有者，也是需要訓練出模型的一方。服務設備訓練模型需要使用用戶設備提供的用戶資料，使得通過訓練得到的模型計算出的結果儘量貼近實際。　　在本說明書實施例中，為了保護用戶的隱私，用戶設備可以對用戶資料進行加密，加密後的用戶資料即是該加密資料。接著，用戶設備可以將加密資料發送給服務設備，用於訓練模型。　　S104：服務設備接收用戶設備發送的加密資料。　　S106：在可信區內，解密該加密資料得到用戶資料。　　S108：在可信區內，採用該用戶資料訓練模型。　　圖2是本說明書實施例提供的訓練系統架構圖。如圖2所示的架構，服務設備使用來自至少一個用戶設備的加密資料訓練模型。服務設備的CPU中具有可信區。該的可信區可以是在CPU的儲存區域中物理隔離出的區域，並且在該可信區內僅能執行指定操作。例如，因特爾公司開發的可信區技術（Intel Software Guard Extensions），通常簡稱為“SGX”。當採用SGX技術時，如圖2所示，用戶設備在向服務設備發送加密資料的同時，還可以向服務設備發送可信區定義文件（.edl文件）和動態連結庫文件（.dll文件或.so文件），服務設備中的加載器根據接收到的定義文件在CPU中定義可信區，並根據接收到的動態連結庫文件，在定義的可信區內執行指定操作。當然，其他類似的可信區技術也可以應用於本方案，不再贅述。　　在本說明書實施例中，上述的指定操作包括對加密資料進行解密的解密操作和部分（或全部）訓練操作。如，根據用戶資料和初始化的模型參數確定訓練中間值屬於一部分訓練操作，調整模型參數也屬於一部分訓練操作。為了保證不洩露用戶資料，在可信區中執行的部分訓練操作具體可以是需要根據用戶資料執行的訓練操作，不需要根據用戶資料執行的另一部分訓練操作則可不在可信區內執行。除指定操作之外，諸如從可信區內提取用戶資料，則無法在該可信區內執行。通過該可信區技術，可以做到在不洩露用戶資料的前提下，以盡可能全面的用戶資料作為樣本訓練模型。　　當然，服務設備可以包括多個CPU。圖3是本說明書實施例提供的另一種訓練系統架構圖。如圖3所示，服務設備包括多個第一CPU和至少一個第二CPU，其中，各第一CPU中具有可信區。需要說明的是，圖3所示的架構中同樣包括記憶體和加載器，只是在圖3中未示出。在圖3中，類似於圖2，各用戶設備分別向服務設備發送加密資料、可信區定義文件和動態連結庫文件，每個第一CPU中的可信區都是由加載器定義的，每個第一CPU都從記憶體中獲取加密資料，在可信區中處理。　　通常地，模型的預測效果是否貼近實際取決於模型的模型參數是否準確。在圖3所示的架構下，服務設備訓練模型實際上是根據資料樣本，對初始化的模型參數進行迭代調整，直至模型參數足夠準確。也即，圖3所示的訓練過程是一個迭代訓練的過程。　　在圖3所示的架構下，服務設備接收多個用戶設備發送的加密資料，將加密資料儲存到記憶體中。每個第一CPU可以僅獲取並解密來自於一個用戶設備的加密資料，也可以獲取並解密來自於不止一個用戶設備的加密資料，只要不同的第一CPU的可信區內所解密的加密資料來自於不同的用戶設備即可，本發明對此不做具體限制。　　繼續參見圖3，每個第一CPU在其可信區內對獲取的加密資料進行解密得到用戶資料，並根據用戶資料和初始化的模型參數確定訓練中間值。各第一CPU在確定出訓練中間值後，將訓練中間值輸出給第二CPU，第二CPU根據接收到的各訓練中間值，確定訓練效果表徵值。其中，訓練中間值是每個第一CPU根據其所解密出的用戶資料進行訓練得到的結果值，不同的訓練算法，計算訓練中間值的方法也不同。例如，倘若採用線性回歸算法，則訓練中間值可以是第一CPU對一條用戶資料的不同特徵值求加權和得到的。為了描述的方便，下文以線性回歸算法為例說明。　　訓練效果表徵值是用於量化每一次迭代訓練的效果的數值，是第二CPU根據各第一CPU輸出的訓練中間值確定的，是綜合衡量各第一CPU訓練效果的數值。具體而言，該訓練效果表徵值可以是在一次迭代訓練的過程中所得到的預測結果與實際結果之間的差異性表徵值。　　繼續參見圖3，第二CPU通過判斷確定的訓練效果表徵值是否滿足指定條件，來判斷本次迭代中的模型參數是否準確（當前的模型是否符合預期）。其中，該指定條件可以根據需要設定，例如，該指定條件可以是該訓練效果表徵值小於指定閾值。　　若訓練效果表徵值滿足指定條件，則訓練流程結束，根據本次迭代中的模型參數生成模型。若訓練效果表徵值不滿足指定條件，服務設備可以根據該訓練效果表徵值調整該模型參數，以使該第二CPU和各第一CPU根據調整後的模型參數繼續訓練模型，直至訓練的模型滿足指定條件為止。　　具體而言，服務設備可以通過第二CPU，根據訓練效果表徵值調整模型參數，並將調整後的模型參數發送給各第一CPU繼續訓練，以使該第二CPU和各第一CPU根據調整後的模型參數繼續訓練模型；也可以通過第二CPU，將訓練效果表徵值發送給各第一CPU，以使每個第一CPU根據接收到的訓練效果表徵值調整模型參數，並使用調整後的模型參數繼續訓練模型（即開始下一次迭代）。　　通過圖1所示的方法，在服務設備的可信區內執行兩項指定操作：1、對加密資料進行解密得到用戶資料；2、部分訓練操作。由於該可信區內僅能執行指定操作，因此，可信區內解密的用戶資料不能被輸出到可信區的外部。也就是說，用戶資料只暴露在可信區內，即便是服務設備的擁有者，也無法獲取可信區內的用戶資料，用戶的隱私也就不會洩露。此外，由於整個訓練模型的流程都在該可信區內執行，訓練模型的具體過程（即代碼邏輯）也不會洩露或被修改。　　另外，在本說明書的一個或多個實施例中，為了防止有人惡意操縱服務設備，使服務設備在該可信區之外執行提取用戶資料的操作，用戶設備可以採用僅能在該用戶設備的CPU的可信區內執行的加密算法，對用戶資料進行加密。　　CPU的可信區實際上是在CPU的儲存區域中物理隔離出的區域，可信區具有特定的物理參數，而僅能在CPU的可信區內執行的加密算法，即是需要使用可信區的物理參數的加密算法。相應地，服務設備可以在其CPU的可信區內採用與該加密算法對應的解密算法對接收到的加密資料進行解密。與該加密算法對應的解密算法僅能在該服務設備的CPU的可信區內執行。　　顯然，解密算法中需要使用的可信區的物理參數與該加密算法中使用的可信區的物理參數應當一致。也就是說，該用戶設備的CPU與該服務設備的CPU的可信區的物理參數應當一致。一般的，同一CPU製造商製造的CPU可滿足此要求。使用可信區的物理參數的加密算法與解密算法是已經成熟的技術，不再贅述。　　下面分別以兩種應用場景為例，對圖3所示的訓練架構進行詳細說明。　　圖4是本說明書實施例提供的訓練用於預測企業盈虧的模型的流程圖，包括以下步驟：　　S400：第二CPU向各第一CPU發送模型參數。　　圖5是本說明書實施例提供的與圖4對應的訓練模型的示意圖。如圖4所示，第二CPU將初始化的模型參數發送給各第一CPU。每個第一CPU接收到的模型參數是相同的，為n個權重值，即圖中的W=（w1，w2，…，wn）。　　S402：各第一CPU分別根據解密得到的用戶資料和接收到的模型參數訓練模型。　　在訓練用於預測企業盈虧的模型的場景下，用戶資料可以是企業用戶的財務報表。在圖5中，以左邊的第一CPU為例，該第一CPU獲取企業用戶A的加密資料（也就是經過加密的財務報表），並對加密資料進行解密，得到a1~an這n條用戶資料。隨後，該第一CPU使用初始化的模型參數，即n個權重值，將這n個權重值依次作為n條用戶資料分別對應的權重值，從而計算得到各條用戶資料的加權和，作為訓練中間值。　　類似地，右邊的第一CPU也計算得到相應的訓練中間值。　　S404：各第一CPU將訓練中間值發送給第二CPU。　　S406：第二CPU根據各第一CPU發送的訓練中間值確定訓練效果表徵值。　　如圖5所示，第二CPU綜合各第一CPU發送的訓練中間值，採用公式，計算表徵本次迭代訓練結果與實際結果差異的訓練效果表徵值。其中，delta表示訓練效果表徵值，Y表示實際結果，sumA表示採用企業用戶A的用戶資料計算得到的訓練中間值，sumB表示採用企業用戶B的用戶資料計算得到的訓練中間值。當然，也可以採用其他公式計算訓練效果表徵值，如或等。　　S408：第二CPU判斷訓練效果表徵值是否滿足指定條件，若是，則執行步驟S410，否則，執行步驟S412。　　S410：第二CPU根據模型參數生成模型。　　當第二CPU確定訓練效果表徵值滿足指定條件時，由於各第一CPU使用的模型參數是相同的，因此，服務設備可將任一第一CPU使用的模型參數作為最終的模型參數。　　S412：第二CPU根據訓練效果表徵值，對模型參數進行調整，並將調整後的模型參數發送給各第一CPU，返回步驟S402。　　繼續參見圖5，若第二CPU確定訓練效果表徵值不滿足指定條件，則根據訓練效果表徵值調整模型參數，也即根據既定的規則調整n個權重值的大小，將調整後的模型參數發送給各第一CPU，以使各第一CPU使用調整後的模型參數繼續訓練模型，直至第二CPU確定訓練效果表徵值滿足指定條件。　　在圖5中，對加密資料進行解密以及根據模型參數和用戶資料確定訓練中間值，都是在第一CPU的可信區內執行的。　　圖6是本說明書實施例提供的訓練用於評價個人信用能力的模型的流程圖，包括以下步驟：　　S600：針對每個第一CPU，該第一CPU確定初始化的模型參數。　　S602：該第一CPU根據解密得到的用戶資料和模型參數訓練模型，得到訓練中間值。　　S604：該第一CPU將訓練中間值發送給第二CPU。　　在本說明書實施例中，每個第一CPU使用的初始化的模型參數可以是自身設置的，也可以是第二CPU發送的。　　圖7是本說明書實施例提供的與圖6對應的訓練模型的示意圖。如圖7所示，各第一CPU分別訓練模型使用的模型參數是不同的，左邊的第一CPU使用的模型參數為W={w1，w2，…，wt}，右邊的第一CPU使用的模型參數為W={w(t+1)，w(t+2)，…，wm}。　　這是因為，在訓練用於評價個人信用能力的模型的場景下，某個機構儲存的用戶資料可以是某人在該機構產生的信用記錄。針對這個人而言，此人往往會在多個機構處產生信用記錄。例如，機構A是某銀行，機構B是某4S店，此人從機構A貸款，會產生相應的貸款記錄，從機構B買車，會產生相應的購車記錄。也就是說，針對這個人而言，此人在多個機構產生的信用記錄的集合，才能夠全面反映此人的信用能力。因此，個人在不同的機構產生的信用記錄所對應的模型參數（各條信用記錄分別對應的權重值）是不同的，也即不同的機構儲存的用戶資料所對應的模型參數是不同的。　　如圖7所示，左邊的第一CPU獲取機構A的用戶資料，機構A的用戶資料包括個人1~k在機構A產生的信用記錄（每一行的用戶資料是一個人的信用記錄）；右邊的第一CPU獲取機構B的用戶資料，機構B的用戶資料包括個人1~k在機構B產生信用記錄。　　各第一CPU對獲取的加密資料進行解密，得到用戶資料，根據用戶資料和模型參數計算訓練中間值（即針對每行用戶資料，計算該行的各條用戶資料的加權和），並將訓練中間值發送給第二CPU。　　S606：第二CPU根據各第一CPU發送的訓練中間值確定訓練效果表徵值。　　第二CPU根據公式，計算訓練效果表徵值。其中，表示用戶i對應的訓練效果表徵值，表示通過機構A的用戶資料計算得到的用戶i對應的訓練中間值，表示通過機構B的用戶資料計算得到的用戶i對應的訓練中間值。　　S608：第二CPU判斷訓練效果表徵值是否滿足指定條件，若是，則執行步驟S610，否則，執行步驟S612。　　S610：第二CPU從各第一CPU獲取模型參數，並根據獲取的模型參數生成模型。　　若第二CPU確定訓練效果表徵值滿足指定條件，則獲取各第一CPU在本次迭代中分別使用的模型參數，將獲取的各模型參數組合成用於生成模型的模型參數。　　S612：第二CPU將訓練效果表徵值發送給各第一CPU。　　S614：針對每個第一CPU，該第一CPU根據該訓練效果表徵值調整該模型參數，並返回執行步驟S502。　　若第二CPU確定訓練效果表徵值不滿足指定條件，則將訓練效果表徵值發送給各第一CPU，由各第一CPU根據公式分別調整模型參數，並根據調整後的模型參數繼續計算訓練中間值。其中，針對每個第一CPU，W’表示上一次迭代中該第一CPU使用的模型參數，α為算法參數，可根據需要指定，表示個人i對應的訓練效果表徵值，表示個人i對應的用戶資料。　　在圖7中，對加密資料進行解密、根據模型參數和用戶資料確定訓練中間值，以及調整模型參數，都是在第一CPU的可信區內執行的。其中，由於用於調整模型參數公式需要使用用戶資料，因此，在可信區內執行調整模型參數的操作，可以防止用戶資料洩露出去。　　最後還需要說明的是，本發明對訓練模型使用的訓練算法（如線性回歸、邏輯回歸、神經網路等），以及訓練算法中涉及的計算訓練中間值、計算訓練效果表徵值、調整模型參數的公式，都不做具體限制，本領域技術人員採用圖2所示的架構，採用其他訓練算法和計算公式進行模型的迭代訓練，都應在本發明所要求的保護範圍之內。　　基於圖1所示的訓練模型的方法，本說明書實施例還對應提供了一種訓練模型的裝置，如圖8所示，該裝置中具有可信區，該裝置包括：　　接收模組801，該服務設備接收用戶設備發送的加密資料；　　解密模組802，在該可信區內，解密該加密資料得到用戶資料；　　訓練模組803，在該可信區內，採用該用戶資料訓練模型。　　該解密模組802，在該可信區內，採用僅能在該可信區內執行的解密算法，解密該加密資料得到用戶資料。　　該可信區位於該服務設備的CPU中。　　該服務設備中包括多個第一CPU和至少一個第二CPU；　　該接收模組801，接收多個用戶設備發送的加密資料；　　該解密模組802，分別在各第一CPU的可信區內，解密該加密資料得到用戶資料，不同的第一CPU的可信區內所解密的加密資料來自於不同的用戶設備；　　該訓練模組803，針對每個第一CPU，在該第一CPU的可信區內，根據該第一CPU解密得到的用戶資料以及該第二CPU發送的模型參數訓練模型，得到訓練中間值，並通過該第一CPU將該訓練中間值輸出給該第二CPU；通過該第二CPU，根據各第一CPU分別輸出的訓練中間值，確定訓練效果表徵值；根據該訓練效果表徵值調整該模型參數，以使該第二CPU和各第一CPU根據調整後的模型參數繼續訓練模型，直至訓練的模型滿足指定條件為止。　　該訓練模組803，通過該第二CPU，根據該訓練效果表徵值調整該模型參數，並將調整後的模型參數發送給各第一CPU，以使該第二CPU和各第一CPU根據調整後的模型參數繼續訓練模型。　　該訓練模組803，通過該第二CPU，將該訓練效果表徵值發送給各第一CPU，以使每個第一CPU根據該訓練效果表徵值調整該模型參數，並根據各調整後的模型參數繼續訓練模型。　　基於圖1所示的訓練模型的方法，本說明書實施例還對應提供了另一種訓練模型的裝置，如圖9所示，服務設備中具有可信區，該裝置包括：　　加密模組901，用戶設備對用戶資料進行加密，得到加密資料；　　發送模組902，將該加密資料發送給服務設備，以使該服務設備在該可信區內，解密該加密資料得到該用戶資料，並採用該用戶資料訓練模型。　　該裝置中具有可信區；　　該加密模組901，用戶設備採用僅能在該用戶設備的可信區內執行的加密算法，對用戶資料進行加密，以使該服務設備採用與該加密算法對應的解密算法對接收到的加密資料進行解密，其中，與該加密算法對應的解密算法僅能在該服務設備的可信區內執行。　　基於圖1所示的訓練模型的方法，本說明書實施例對應提供了一種服務設備，如圖10所示。該服務設備中具有可信區，該服務設備包括一個或多個處理器及記憶體，該記憶體儲存有程式，並且被配置成由該一個或多個處理器執行以下步驟：　　接收用戶設備發送的加密資料；　　在該可信區內，解密該加密資料得到用戶資料；　　在該可信區內，採用該用戶資料訓練模型。　　基於圖1所示的訓練模型的方法，本說明書實施例對應提供了一種用戶設備，如圖11所示。服務設備中具有可信區，該用戶設備包括一個或多個處理器及記憶體，該記憶體儲存有程式，並且被配置成由該一個或多個處理器執行以下步驟：　　對用戶資料進行加密，得到加密資料；　　將該加密資料發送給服務設備，以使該服務設備在該可信區內，解密該加密資料得到該用戶資料，並採用該用戶資料訓練模型。　　本說明書中的各個實施例均採用遞進的方式描述，各個實施例之間相同相似的部分互相參見即可，每個實施例重點說明的都是與其他實施例的不同之處。尤其，對於圖10所示的服務設備和圖11所示的用戶設備而言，由於其基本相似於方法實施例，所以描述的比較簡單，相關之處參見方法實施例的部分說明即可。　　在20世紀90年代，對於一個技術的改進可以很明顯地區分是硬體上的改進（例如，對二極體、電晶體、開關等電路結構的改進）還是軟體上的改進（對於方法流程的改進）。然而，隨著技術的發展，當今的很多方法流程的改進已經可以視為硬體電路結構的直接改進。設計人員幾乎都通過將改進的方法流程編程到硬體電路中來得到相應的硬體電路結構。因此，不能說一個方法流程的改進就不能用硬體實體模組來實現。例如，可編程邏輯裝置（ Programmable Logic Device, PLD）（例如現場可編程閘陣列（Field Programmable Gate Array，FPGA））就是這樣一種積體電路，其邏輯功能由用戶對裝置編程來確定。由設計人員自行編程來把一個數位系統“集成”在一片PLD上，而不需要請晶片製造廠商來設計和製作專用的積體電路晶片。而且，如今，取代手工地製作積體電路晶片，這種編程也多半改用“邏輯編譯器（logic compiler）”軟體來實現，它與程式開發撰寫時所用的軟體編譯器相類似，而要編譯之前的原始代碼也得用特定的編程語言來撰寫，此稱之為硬體描述語言（Hardware Description Language，HDL），而HDL也並非僅有一種，而是有許多種，如ABEL（Advanced Boolean Expression Language）、AHDL（Altera Hardware Description Language）、Confluence、CUPL（Cornell University Programming Language）、HDCal、JHDL（Java Hardware Description Language）、Lava、Lola、MyHDL、PALASM、RHDL（Ruby Hardware Description Language）等，目前最普遍使用的是VHDL（Very-High-Speed Integrated Circuit Hardware Description Language）與Verilog。本領域技術人員也應該清楚，只需要將方法流程用上述幾種硬體描述語言稍作邏輯編程並編程到積體電路中，就可以很容易得到實現該邏輯方法流程的硬體電路。　　控制器可以按任何適當的方式實現，例如，控制器可以採取例如微處理器或處理器以及儲存可由該（微）處理器執行的電腦可讀程式代碼（例如軟體或韌體）的電腦可讀介質、邏輯閘、開關、專用積體電路（Application Specific Integrated Circuit，ASIC）、可編程邏輯控制器和嵌入微控制器的形式，控制器的例子包括但不限於以下微控制器：ARC 625D、Atmel AT91SAM、Microchip PIC18F26K20 以及Silicone Labs C8051F320，記憶體控制器還可以被實現為記憶體的控制邏輯的一部分。本領域技術人員也知道，除了以純電腦可讀程式代碼方式實現控制器以外，完全可以通過將方法步驟進行邏輯編程來使得控制器以邏輯閘、開關、專用積體電路、可編程邏輯控制器和嵌入微控制器等的形式來實現相同功能。因此這種控制器可以被認為是一種硬體部件，而對其內包括的用於實現各種功能的裝置也可以視為硬體部件內的結構。或者甚至，可以將用於實現各種功能的裝置視為既可以是實現方法的軟體模組又可以是硬體部件內的結構。　　上述實施例闡明的系統、裝置、模組或單元，具體可以由電腦晶片或實體實現，或者由具有某種功能的產品來實現。一種典型的實現設備為電腦。具體的，電腦例如可以為個人電腦、筆記型電腦、蜂窩電話、相機電話、智慧型手機、個人數位助理、媒體播放器、導航設備、電子郵件設備、遊戲控制台、平板電腦、可穿戴設備或者這些設備中的任何設備的組合。　　為了描述的方便，描述以上裝置時以功能分為各種單元分別描述。當然，在實施本發明時可以把各單元的功能在同一個或多個軟體和/或硬體中實現。　　本領域內的技術人員應明白，本發明的實施例可提供為方法、系統、或電腦程式產品。因此，本發明可採用完全硬體實施例、完全軟體實施例、或結合軟體和硬體方面的實施例的形式。而且，本發明可採用在一個或多個其中包含有電腦可用程式代碼的電腦可用儲存介質（包括但不限於磁碟記憶體、CD-ROM、光學記憶體等）上實施的電腦程式產品的形式。　　本發明是參照根據本發明實施例的方法、設備（系統）、和電腦程式產品的流程圖和/或方塊圖來描述的。應理解可由電腦程式指令實現流程圖和/或方塊圖中的每一流程和/或方塊、以及流程圖和/或方塊圖中的流程和/或方塊的結合。可提供這些電腦程式指令到通用電腦、專用電腦、嵌入式處理機或其他可編程資料處理設備的處理器以產生一個機器，使得通過電腦或其他可編程資料處理設備的處理器執行的指令產生用於實現在流程圖一個流程或多個流程和/或方塊圖一個方塊或多個方塊中指定的功能的裝置。　　這些電腦程式指令也可儲存在能引導電腦或其他可編程資料處理設備以特定方式工作的電腦可讀記憶體中，使得儲存在該電腦可讀記憶體中的指令產生包括指令裝置的製造品，該指令裝置實現在流程圖一個流程或多個流程和/或方塊圖一個方塊或多個方塊中指定的功能。　　這些電腦程式指令也可裝載到電腦或其他可編程資料處理設備上，使得在電腦或其他可編程設備上執行一系列操作步驟以產生電腦實現的處理，從而在電腦或其他可編程設備上執行的指令提供用於實現在流程圖一個流程或多個流程和/或方塊圖一個方塊或多個方塊中指定的功能的步驟。　　在一個典型的配置中，計算設備包括一個或多個處理器(CPU)、輸入/輸出介面、網路介面和記憶體。　　記憶體可能包括電腦可讀介質中的非永久性記憶體，隨機存取記憶體(RAM)和/或非揮發性記憶體等形式，如唯讀記憶體(ROM)或快閃記憶體(flash RAM)。記憶體是電腦可讀介質的示例。　　電腦可讀介質包括永久性和非永久性、可移動和非可移動媒體可以由任何方法或技術來實現資訊儲存。資訊可以是電腦可讀指令、資料結構、程式的模組或其他資料。電腦的儲存介質的例子包括，但不限於相變記憶體(PRAM)、靜態隨機存取記憶體(SRAM)、動態隨機存取記憶體(DRAM)、其他類型的隨機存取記憶體(RAM)、唯讀記憶體(ROM)、電可擦除可編程唯讀記憶體(EEPROM)、快閃記憶體或其他記憶體技術、唯讀光碟唯讀記憶體(CD-ROM)、數位多功能光碟(DVD)或其他光學儲存、磁盒式磁帶，磁帶磁磁碟儲存或其他磁性儲存設備或任何其他非傳輸介質，可用於儲存可以被計算設備存取的資訊。按照本文中的界定，電腦可讀介質不包括暫存電腦可讀媒體(transitory media)，如調變的資料信號和載波。　　還需要說明的是，術語“包括”、“包含”或者其任何其他變體意在涵蓋非排他性的包含，從而使得包括一系列要素的過程、方法、商品或者設備不僅包括那些要素，而且還包括沒有明確列出的其他要素，或者是還包括為這種過程、方法、商品或者設備所固有的要素。在沒有更多限制的情況下，由語句“包括一個……”限定的要素，並不排除在包括所述要素的過程、方法、商品或者設備中還存在另外的相同要素。　　本領域技術人員應明白，本發明的實施例可提供為方法、系統或電腦程式產品。因此，本發明可採用完全硬體實施例、完全軟體實施例或結合軟體和硬體方面的實施例的形式。而且，本發明可採用在一個或多個其中包含有電腦可用程式代碼的電腦可用儲存介質（包括但不限於磁碟記憶體、CD-ROM、光學記憶體等）上實施的電腦程式產品的形式。　　本發明可以在由電腦執行的電腦可執行指令的一般上下文中描述，例如程式模組。一般地，程式模組包括執行特定任務或實現特定抽象資料類型的例程、程式、對象、組件、資料結構等等。也可以在分布式計算環境中實踐本發明，在這些分布式計算環境中，由通過通信網路而被連接的遠程處理設備來執行任務。在分布式計算環境中，程式模組可以位於包括儲存設備在內的本地和遠程電腦儲存介質中。　　以上所述僅為本發明的實施例而已，並不用於限制本發明。對於本領域技術人員來說，本發明可以有各種更改和變化。凡在本發明的精神和原理之內所作的任何修改、等同替換、改進等，均應包含在本發明的申請專利範圍之內。

S100~S108‧‧‧步驟

S400~S412‧‧‧步驟

S600~S614‧‧‧步驟

801‧‧‧接收模組

802‧‧‧解密模組

803‧‧‧訓練模組

901‧‧‧加密模組

902‧‧‧發送模組

為了更清楚地說明本說明書實施例或現有技術中的技術方案，下面將對實施例或現有技術描述中所需要使用的圖式作簡單地介紹，顯而易見地，下面描述中的圖式僅僅是本發明中記載的一些實施例，對於本領域普通技術人員來講，在不付出創造性勞動性的前提下，還可以根據這些圖式獲得其他的圖式。　　圖1是本說明書實施例提供的一種訓練模型的方法流程圖；　　圖2是本說明書實施例提供的一種訓練系統架構圖；　　圖3是本說明書實施例提供的另一種訓練系統架構圖；　　圖4是本說明書實施例提供的訓練用於預測企業盈虧的模型的流程圖；　　圖5是本說明書實施例提供的與圖4對應的訓練模型的示意圖；　　圖6是本說明書實施例提供的訓練用於評價用戶信用能力的模型的流程圖；　　圖7是本說明書實施例提供的與圖6對應的訓練模型的示意圖；　　圖8是本說明書實施例提供的一種訓練模型的裝置示意圖；　　圖9是本說明書實施例提供的另一種訓練模型的裝置示意圖；　　圖10是本說明書實施例提供的用戶設備示意圖；　　圖11是本說明書實施例提供的服務設備示意圖。

Claims

一種訓練模型的方法，服務設備中具有可信區，該方法包括：　　該服務設備接收用戶設備發送的加密資料；　　在該可信區內，解密該加密資料得到用戶資料；　　在該可信區內，採用該用戶資料訓練模型。
根據請求項1所述的方法，在該可信區內，解密該加密資料得到用戶資料，具體包括：　　在該可信區內，採用僅能在該可信區內執行的解密算法，解密該加密資料得到用戶資料。
根據請求項1所述的方法，該可信區位於該服務設備的CPU中。
根據請求項3所述的方法，該服務設備中包括多個第一CPU和至少一個第二CPU；　　接收用戶設備發送的加密資料，具體包括：　　接收多個用戶設備發送的加密資料；　　在該可信區內，解密該加密資料得到用戶資料，具體包括：　　分別在各第一CPU的可信區內，解密該加密資料得到用戶資料，不同的第一CPU的可信區內所解密的加密資料來自於不同的用戶設備；　　在該可信區內，採用該用戶資料訓練模型，具體包括：　　針對每個第一CPU，在該第一CPU的可信區內，根據該第一CPU解密得到的用戶資料以及該第二CPU發送的模型參數訓練模型，得到訓練中間值，並通過該第一CPU將該訓練中間值輸出給該第二CPU；　　通過該第二CPU，根據各第一CPU分別輸出的訓練中間值，確定訓練效果表徵值；　　根據該訓練效果表徵值調整該模型參數，以使該第二CPU和各第一CPU根據調整後的模型參數繼續訓練模型，直至訓練的模型滿足指定條件為止。
根據請求項4所述的方法，根據該訓練效果表徵值調整該模型參數，以使該第二CPU和各第一CPU根據調整後的模型參數繼續訓練模型，具體包括：　　通過該第二CPU，根據該訓練效果表徵值調整該模型參數，並將調整後的模型參數發送給各第一CPU，以使該第二CPU和各第一CPU根據調整後的模型參數繼續訓練模型。
根據請求項4所述的方法，根據該訓練效果表徵值調整該模型參數，以使該第二CPU和各第一CPU根據調整後的模型參數繼續訓練模型，具體包括：　　通過該第二CPU，將該訓練效果表徵值發送給各第一CPU，以使每個第一CPU根據該訓練效果表徵值調整該模型參數，並根據各調整後的模型參數繼續訓練模型。
一種訓練模型的方法，服務設備中具有可信區，該方法包括：　　用戶設備對用戶資料進行加密，得到加密資料；　　將該加密資料發送給服務設備，以使該服務設備在該可信區內，解密該加密資料得到該用戶資料，並採用該用戶資料訓練模型。
根據請求項7所述的方法，用戶設備中具有可信區；　　用戶設備對用戶資料進行加密，具體包括：　　用戶設備採用僅能在該用戶設備的可信區內執行的加密算法，對用戶資料進行加密，以使該服務設備採用與該加密算法對應的解密算法對接收到的加密資料進行解密，其中，與該加密算法對應的解密算法僅能在該服務設備的可信區內執行。
一種訓練模型的裝置，該裝置中具有可信區，該裝置包括：　　接收模組，該服務設備接收用戶設備發送的加密資料；　　解密模組，在該可信區內，解密該加密資料得到用戶資料；　　訓練模組，在該可信區內，採用該用戶資料訓練模型。
根據請求項9所述的裝置，該解密模組，在該可信區內，採用僅能在該可信區內執行的解密算法，解密該加密資料得到用戶資料。
根據請求項9所述的裝置，該可信區位於該服務設備的CPU中。
根據請求項11所述的裝置，該服務設備中包括多個第一CPU和至少一個第二CPU；　　該接收模組，接收多個用戶設備發送的加密資料；　　該解密模組，分別在各第一CPU的可信區內，解密該加密資料得到用戶資料，不同的第一CPU的可信區內所解密的加密資料來自於不同的用戶設備；　　該訓練模組，針對每個第一CPU，在該第一CPU的可信區內，根據該第一CPU解密得到的用戶資料以及該第二CPU發送的模型參數訓練模型，得到訓練中間值，並通過該第一CPU將該訓練中間值輸出給該第二CPU；通過該第二CPU，根據各第一CPU分別輸出的訓練中間值，確定訓練效果表徵值；根據該訓練效果表徵值調整該模型參數，以使該第二CPU和各第一CPU根據調整後的模型參數繼續訓練模型，直至訓練的模型滿足指定條件為止。
根據請求項12所述的裝置，該訓練模組，通過該第二CPU，根據該訓練效果表徵值調整該模型參數，並將調整後的模型參數發送給各第一CPU，以使該第二CPU和各第一CPU根據調整後的模型參數繼續訓練模型。
根據請求項12所述的裝置，該訓練模組，通過該第二CPU，將該訓練效果表徵值發送給各第一CPU，以使每個第一CPU根據該訓練效果表徵值調整該模型參數，並根據各調整後的模型參數繼續訓練模型。
一種訓練模型的裝置，服務設備中具有可信區，該裝置包括：　　加密模組，用戶設備對用戶資料進行加密，得到加密資料；　　發送模組，將該加密資料發送給服務設備，以使該服務設備在該可信區內，解密該加密資料得到該用戶資料，並採用該用戶資料訓練模型。
根據請求項15所述的裝置，該裝置中具有可信區；　　該加密模組，用戶設備採用僅能在該用戶設備的可信區內執行的加密算法，對用戶資料進行加密，以使該服務設備採用與該加密算法對應的解密算法對接收到的加密資料進行解密，其中，與該加密算法對應的解密算法僅能在該服務設備的可信區內執行。
一種服務設備，該服務設備中具有可信區，該服務設備包括一個或多個處理器及記憶體，該記憶體儲存有程式，並且被配置成由該一個或多個處理器執行以下步驟：　　接收用戶設備發送的加密資料；　　在該可信區內，解密該加密資料得到用戶資料；　　在該可信區內，採用該用戶資料訓練模型。
一種用戶設備，服務設備中具有可信區，該用戶設備包括一個或多個處理器及記憶體，該記憶體儲存有程式，並且被配置成由該一個或多個處理器執行以下步驟：　　對用戶資料進行加密，得到加密資料；　　將該加密資料發送給服務設備，以使該服務設備在該可信區內，解密該加密資料得到該用戶資料，並採用該用戶資料訓練模型。