TW202123047A

TW202123047A - 基於區塊鏈的模型聯合訓練方法及裝置

Info

Publication number: TW202123047A
Application number: TW109116403A
Authority: TW
Inventors: 倪翔; 汲小溪; 王維強
Original assignee: 大陸商支付寶（杭州）信息技術有限公司
Priority date: 2019-12-09
Filing date: 2020-05-18
Publication date: 2021-06-16
Also published as: CN111062044B; TWI732557B; WO2021114929A1; CN111062044A; CN113268776A; CN113268776B

Abstract

本說明書實施例提供一種基於區塊鏈的模型聯合訓練方法及裝置，在訓練方法中，區塊鏈的當前層節點接收對應的上層節點發送的第一訓練結果。該第一訓練結果至少基於第一類型結果判定，第一類型結果由上層節點基於其在鏈下維護的私有資料，對其在鏈上維護的多種模型中的目標模型進行訓練後得到。當前層節點基於其鏈下維護的私有資料，對其在鏈上維護的多種模型中的目標模型進行訓練，得到第二訓練結果。對第一訓練結果和第二訓練結果進行融合，得到融合結果。判斷當前層節點是否在最後一個層級。若當前層節點在最後一個層級，則在區塊鏈上廣播所述融合結果，以使得多個節點基於融合結果對各自在鏈上維護的多種模型中的目標模型進行更新。

Description

基於區塊鏈的模型聯合訓練方法及裝置

本說明書一個或多個實施例涉及電腦技術領域，尤其涉及一種基於區塊鏈的模型聯合訓練方法及裝置。

聯邦學習(Federated Learning)，也稱聯合學習，是一種新興的人工智慧基礎技術。其設計目標是在保障大資料交換時的資訊安全、保護終端資料和個人資料隱私、保證合法合規的前提下，在多參與方(或者計算節點或者主體)之間開展高效率的機器學習。在傳統的模型聯合學習或訓練過程中，為了確保各方資料的安全性，通常會對各方間交流互動的資料進行加密，然而其仍然存在資料洩露的風險。因此，需要提供一種更安全地模型聯合訓練方法。

本說明書一個或多個實施例描述了一種基於區塊鏈的模型聯合訓練方法及裝置，可以在確保各方資料安全的情況下，高效地對模型進行聯合訓練。第一態樣，提供了一種基於區塊鏈的模型聯合訓練方法，包括：接收對應的上層節點發送的第一訓練結果；所述第一訓練結果至少基於第一類型結果判定；所述第一類型結果由所述上層節點基於其在鏈下維護的私有資料，對其在鏈上維護的多種模型中的目標模型進行訓練後得到；基於其鏈下維護的私有資料，對其在鏈上維護的多種模型中的所述目標模型進行訓練，得到第二訓練結果；對所述第一訓練結果和所述第二訓練結果進行融合，得到融合結果；判斷所述當前層節點是否在最後一個層級；若所述當前層節點在最後一個層級，則在所述區塊鏈上廣播所述融合結果，以使得所述多個節點基於所述融合結果對各自在鏈上維護的多種模型中的所述目標模型進行更新。第二態樣，提供了一種基於區塊鏈的模型聯合訓練方法，包括：接收對應的上層節點發送的第一訓練結果；所述第一訓練結果至少包括第一類型結果；所述第一類型結果由所述上層節點基於其在鏈下維護的私有資料，對其在鏈上維護的多種模型中的目標模型進行訓練後得到；基於其鏈下維護的私有資料，對其在鏈上維護的多種模型中的所述目標模型進行訓練，得到第二訓練結果；判斷所述當前層節點是否在最後一個層級；若所述當前層節點在最後一個層級，則對所述第一訓練結果和所述第二訓練結果進行融合，得到融合結果；在所述區塊鏈上廣播所述融合結果，以使得所述多個節點基於所述融合結果對各自在鏈上維護的多種模型中的所述目標模型進行更新。第三態樣，提供了一種基於區塊鏈的模型聯合訓練裝置，包括：接收單元，用於接收對應的上層節點發送的第一訓練結果；所述第一訓練結果至少基於第一類型結果判定；所述第一類型結果由所述上層節點基於其在鏈下維護的私有資料，對其在鏈上維護的多種模型中的目標模型進行訓練後得到；訓練單元，用於基於其鏈下維護的私有資料，對其在鏈上維護的多種模型中的所述目標模型進行訓練，得到第二訓練結果；融合單元，用於對所述接收單元接收的所述第一訓練結果和所述訓練單元訓練得到的所述第二訓練結果進行融合，得到融合結果；判斷單元，用於判斷所述當前層節點是否在最後一個層級；廣播單元，用於若所述判斷單元判斷所述當前層節點在最後一個層級，則在所述區塊鏈上廣播所述融合結果，以使得所述多個節點基於所述融合結果對各自在鏈上維護的多種模型中的所述目標模型進行更新。第四態樣，提供了一種基於區塊鏈的模型聯合訓練裝置，包括：接收單元，用於接收對應的上層節點發送的第一訓練結果；所述第一訓練結果至少包括第一類型結果；所述第一類型結果由所述上層節點基於其在鏈下維護的私有資料，對其在鏈上維護的多種模型中的目標模型進行訓練後得到；訓練單元，用於基於其鏈下維護的私有資料，對其在鏈上維護的多種模型中的所述目標模型進行訓練，得到第二訓練結果；判斷單元，用於判斷所述當前層節點是否在最後一個層級；融合單元，用於若所述判斷單元判斷所述當前層節點在最後一個層級，則對所述第一訓練結果和所述第二訓練結果進行融合，得到融合結果；廣播單元，用於在所述區塊鏈上廣播所述融合單元得到的融合結果，以使得所述多個節點基於所述融合結果對各自在鏈上維護的多種模型中的所述目標模型進行更新。第五態樣，提供了一種電腦儲存媒體，其上儲存有電腦程式，當所述電腦程式在電腦中執行時，令電腦執行第一態樣的方法或第二態樣的方法。第六態樣，提供了一種計算設備，包括記憶體和處理器，所述記憶體中儲存有可執行代碼，所述處理器執行所述可執行代碼時，實現第一態樣的方法或第二態樣的方法。本說明書一個或多個實施例提供的基於區塊鏈的模型聯合訓練方法及裝置，區塊鏈的每層節點可以接收對應的上層節點發送的訓練結果，並可以將接收的訓練結果與自身的訓練結果進行融合後發送至對應的下層節點，或者直接將兩種訓練結果轉發至對應的下層節點，直至到達最後一層節點。最後一層節點將全部的訓練結果進行融合，得到最終訓練結果，並在區塊鏈上廣播該最終訓練結果，從而使得各節點均可以更新對應的模型，至此就實現了基於區塊鏈的模型聯合訓練。也即本說明書提供的方案，可以基於區塊鏈來實現模型的聯合訓練，由此可以保證模型聯合訓練過程的安全可靠。

下面結合圖式，對本說明書提供的方案進行描述。在描述本說明書提供的方案之前，先對本方案的發明構思作以下說明。如背景技術所述，傳統的模型聯合訓練方法存在資料洩露的風險，為了確保各方資料的安全性，本方案將基於區塊鏈實現模型的聯合訓練。區塊鏈是借由密碼學串接並保護內容的串連文字記錄。每一個區塊包含了前一個區塊的加密雜湊、相應時間戳記記以及交易資料，這樣的設計使得區塊內容具有難以篡改的特性。用區塊鏈技術所串接的分散式帳本能讓兩方有效記錄交易，且可永久查驗此交易。其具體實現思路可以為：首先可以將區塊鏈中的各節點劃分為多個層級，並建立相鄰兩個層級的節點之間的對應關係。之後，區塊鏈的每層節點可以接收對應的上層節點發送的訓練結果，並可以將接收的訓練結果與自身的訓練結果進行融合後發送至對應的下層節點，或者直接將兩種訓練結果轉發至對應的下層節點，直至到達最後一層節點。最後一層節點將全部的訓練結果進行融合，得到最終訓練結果，並在區塊鏈上廣播該最終訓練結果，從而使得各節點均可以更新對應的模型，至此就實現了基於區塊鏈的模型聯合訓練。以上就是本說明書提供的發明構思，基於該發明構思就可以得到本方案，以下對本方案進行詳細闡述。圖1為本說明書提供的基於區塊鏈的模型聯合訓練方法實施場景示意圖。圖1中，節點1-節點15為區塊鏈中的節點，各個節點按照層級關係組織。具體地，節點1-節點8在第1個層級，節點9-節點12在第2個層級，節點13-節點14在第3個層級，節點15在第4個層級(也即最後一個層級)。此外，第1個層級的節點1-節點2對應於第2個層級的節點9，第1個層級的節點3-節點4對應於第2個層級的節點10，第1個層級的節點5-節點6對應於第2個層級的節點11，第1個層級的節點7-節點8對應於第2個層級的節點12。第2個層級的節點9-節點10對應於第3個層級的節點13，第2個層級的節點11-節點12對應於第3個層級的節點14。第3個層級的節點13-節點14對應於最後一個層級的節點15。圖1中的每個節點可以表徵一個參與方。上述每個節點在鏈上可以維護多種模型。這裡的多種模型可以包括邏輯回歸(Logistic Regression，LR)模型、梯度提升決策樹(Gradient Boosting Decision Tree，GBDT)模型以及(Deep Neural Networks，DNN)模型中的至少一項。上述多種模型中的任一模型可以是由某個節點預先提交到區塊鏈上。可以理解的是，針對提交到區塊鏈上的模型，各節點均可以執行相應的計算(如，訓練)。此外，區塊鏈中的每個節點在鏈下還可以維護自身的私有資料。在一個示例中，各節點可以透過在相應區塊記錄中包含指向的鏈下資料的指標，來實現各自對鏈下資料的維護。圖1中，任務處理器(task rebuilder)可以在區塊鏈上發佈模型訓練任務。這裡的任務處理器可以為單獨的伺服器，也可以設置於區塊鏈中的任一節點。此外，上述模型訓練任務至少指示待訓練的目標模型。需要說明的是，在發佈上述模型訓練任務後，只有第1個層級的各個節點會執行訓練任務，而其它層級的節點則等待接收對應節點的訓練結果，之後才開始執行訓練任務。以第1個層級的節點1-節點2為例來說，在發佈上述模型訓練任務後，節點1-節點2可以從其在鏈上維護的多種模型中選取出目標模型，並基於其在鏈下維護的私有資料，對選取的目標模型進行訓練。之後，節點1和節點2可以將各自的訓練結果(如，模型梯度和/或模型參數)發送至節點9。節點9可以獲取對應的訓練結果，並將接收的訓練結果和自身獲取的訓練結果融合後，或者直接全部轉發至節點13等等，依次類推，直至到達節點15。節點15可以融合所有的訓練結果，並將融合結果發佈到區塊鏈上，從而各節點基於該融合結果，更新各自維護的目標模型。在此說明，受限於篇幅，圖1只列出了四個層級的節點，且下一層級的各節點只與上一層級的兩個節點相對應，實際上區塊鏈中還可以包括超過四個層級的節點，且下一層級的各節點可以與上一層級的超過兩個的節點相對應，本說明書對此不作限定。需要說明的是，區塊鏈上的鏈式雜湊指標可以確保幾乎不可能存在更改或刪除區塊鏈上的記錄的可能性。此外，區塊鏈上的記錄還可以包含指向鏈下私有資料的指標。指標與雜湊指標一起可用於驗證鏈下資料的完整性。這樣一來，區塊鏈還可以保護鏈下資料的完整性。保護鏈上和鏈下記錄的完整性從本質上阻止了欺詐性刪除或更改記錄以謀取個人利益。另外，區塊鏈提供附加到區塊鏈的記錄的近即時透明性，即這些新記錄對區塊鏈的各個節點可見。這提高了此類節點檢測欺詐性記錄的能力。這種透明性的存在和僅被發現的可能性就將極大地阻止欺詐行為。綜上，本方案可以確保模型聯合訓練過程的安全性。圖2為本說明書一個實施例提供的基於區塊鏈的模型聯合訓練方法流程圖。所述方法的執行主體可以為圖1中區塊鏈的第2-4個層級的節點中任一節點。如圖2所示，所述方法具體可以包括：步驟202，接收對應的上層節點發送的第一訓練結果。關於上述第一訓練結果，這裡分兩種情況進行說明，第一種，上述上層節點不存在對應的上層節點，也即上層節點為第1個層級的節點，則第一訓練結果基於第一類型結果判定，如，將第一類型結果作為第一訓練結果。這裡的第一類型結果由上層節點基於其在鏈下維護的私有資料，對其在鏈上維護的多種模型中的目標模型進行訓練後得到。第二種，上述上層節點還存在對應的上層節點，也即上層節點為非第1個層級的節點，則第一訓練結果基於第一類型結果和第二類型結果判定，其中，第二類型結果由上層節點基於從其對應的上層節點接收的結果判定。在一個示例中，可以對第一類型結果和第二類型結果進行求平均或者求加權平均得到第一訓練結果。需要說明的是，上述目標模型可以由任務處理器在發佈模型訓練任務時指定。如，可以為LR模型、GBDT模型或者DNN模型中的任一種。此外，上述第一類型結果或者第二類型結果可以是指目標模型的中間模型梯度和/或中間模型參數。還需要說明的是，上述第一訓練結果的個數可以基於對應的上層節點的個數判定。也即在對應的上層節點的個數為多個時，上述第一訓練結果的個數也可以為多個。以下結合圖1對上述第一訓練結果進行說明。以圖1中第2個層級的節點9為例來說，節點9可以接收節點1和節點2各自發送的第一訓練結果，也即節點9接收到的第一訓練結果的個數為兩個。其中，節點1(或節點2)發送的第一訓練結果即為第一類型結果，即其由節點1(或節點2)在接收到任務處理器在區塊鏈上發佈的模型訓練任務時，基於在鏈下維護的私有資料，對目標模型進行訓練後得到。而對於第3個層級的節點13，其可以接收節點9和節點10各自發送的第一訓練結果，也即節點13接收到的第一訓練結果的個數為兩個。其中，節點9(或節點10)發送的第一訓練結果基於第一類型結果和第二類型結果判定。對於節點9，對應的第一類型結果由節點9在接收到節點1和節點2發送的第一訓練結果時，基於在鏈下維護的私有資料，對目標模型進行訓練後得到。而對應的第二類型結果是由節點9在對節點1和節點2發送的第一訓練結果融合後得到。步驟204，基於其鏈下維護的私有資料，對其在鏈上維護的多種模型中的目標模型進行訓練，得到第二訓練結果。如，第2個層級的節點9可以對目標模型進行訓練，從而得到第二訓練結果。再如，第3個層級的節點13可以對目標模型進行訓練，從而得到第二訓練結果。步驟206，對第一訓練結果和第二訓練結果進行融合，得到融合結果。如，可以將第一訓練結果作為新的第二類型結果，並將第二訓練結果作為新的第一類型結果進行求平均或者求加權平均，得到融合結果。如，第2個層級的節點9，其可以將從節點1和節點2接收的兩個第一訓練結果分別作為兩個新的第二類型結果，此外，還可以將其自身得到的第二訓練結果作為新的第一類型結果。之後，對兩個新的第二類型結果以及新的第一類型結果進行求平均或者求加權平均，得到融合結果。可以理解的是，該融合結果即為節點9發送到節點13的第一訓練結果。再如，第3個層級的節點13，其可以將從節點9和節點10接收的兩個第一訓練結果分別作為兩個新的第二類型結果，此外，還可以將其自身得到的第二訓練結果作為新的第一類型結果。之後，對兩個新的第二類型結果以及新的第一類型結果進行求平均或者求加權平均，得到融合結果。可以理解的是，該融合結果即為節點13發送到節點15的第一訓練結果。步驟208，判斷當前層節點是否在最後一個層級。步驟210，若當前層節點在最後一個層級，則在區塊鏈上廣播融合結果，以使得多個節點基於融合結果對各自在鏈上維護的多種模型中的目標模型進行更新。以圖1中的第4個層級的節點15為例來說，由於節點15在最後一個層級，其可以其區塊鏈上廣播融合結果。可以理解的是，這裡的融合結果可以是指目標模型的總模型梯度或者總模型參數。若融合結果為總模型梯度，那麼各節點在接收到總模型梯度之後，可以基於該總模型梯度，判定總模型參數。之後，基於總模型參數，對各自對應的目標模型進行更新。若融合結果為總模型參數，各節點在接收到總模型參數之後，可以直接基於總模型參數，對各自對應的目標模型進行更新。以上是對當前層節點在最後一個層級的情況說明，以下對當前層節點不在最後一個層級的情況進行描述。若當前層節點不在最後一個層級，則將融合結果作為發送到對應的下層節點的第一訓練結果。以第2個層級的節點9為例來說，其可以將對應的融合結果作為第一訓練結果發送到節點13。再以第3個層級的節點13為例來說，其可以將對應的融合結果作為第一訓練結果發送到節點15。需要說明的是，在執行步驟210之後，只完成了目標模型的一輪反覆運算訓練。若一輪反覆運算結束之後，目標模型對應的損失函數是否達到預定的收斂條件，則模型聯合訓練結束；否則，進入下一輪反覆運算，直至目標模型對應的損失函數達到預定的收斂條件。可以理解的是，下一輪反覆運算的過程基於更新後的目標模型執行。在目標模型對應的損失函數滿足預定的收斂條件時，模型聯合訓練結束。任務處理器可以調用智慧合約，智慧合約被用於計算多個節點各自對應的獎勵，並向多個節點發放各自對應的獎勵，以使多個節點各自對應的虛擬資源增加。在一個例子中，智慧合約的實現原理如下：假設第t次提交資料(或演算法)對已有模型增益是 A_t，對於每次提交資料(或者演算法)h，定義一個loss function L(h, t)。最後節點對應的獎勵是 A_t – L(h, t)。上述模型增益可以透過計算Shapley value值得到。Shapley value是透過考慮各個節點做出的貢獻，來公平地分配合作收益。還需要說明的是，步驟202-步驟210是在模型聯合訓練過程中，非第1個層級的節點所進行的操作。可以理解的是，對於第1個層級的各節點，其可以在接收到任務處理器在區塊鏈上發佈的模型訓練任務時，基於其鏈下維護的私有資料，對其在鏈上維護的多種模型中的目標模型進行訓練，得到第二訓練結果。之後，可以將第二訓練結果作為發送到對應的下層節點(即第2個層級的節點)的第一訓練結果。從而對應的下層節點就可以執行上述步驟202-步驟210，直至到達最後一個層級的節點。綜上，本說明書實施例提供的基於區塊鏈的模型聯合訓練方法作出了以下幾點創新：第一，創新性的提出把區塊鏈引入聯邦學習中。第二，運用區塊鏈的雜湊指標技術解決鏈上和鏈下資料的完整性。第三，運用區塊鏈的數位簽章技術解決機器學習模型資料來源的真實性。第四，利用區塊鏈的智慧合約技術解決了聯邦學習中的促進資料共用和演算法共建的激勵和懲罰機制問題。第五，在區塊鏈上實現了聯邦學習的過程。基於上述幾方面的創新點，可以保證各參與方的私有資料和模型訓練結果的真實性、完整性、可溯源性。此外，智慧合約的使用可以促進各參與方之間的協作能力。圖3為本說明書另一個實施例提供的基於區塊鏈的模型聯合訓練方法流程圖。所述方法的執行主體可以為圖1中區塊鏈的第2-4個層級的節點中任一節點。如圖3所示，所述方法具體可以包括：步驟302，接收對應的上層節點發送的第一訓練結果。關於上述第一訓練結果，這裡分兩種情況進行說明，第一種，上述上層節點不存在對應的上層節點，也即上層節點為第1個層級的節點，則第一訓練結果只包括第一類型結果，這裡的第一類型結果由上層節點基於其在鏈下維護的私有資料，對其在鏈上維護的多種模型中的目標模型進行訓練後得到。第二種，上述上層節點還存在對應的上層節點，也即上層節點為非第1個層級的節點，則第一訓練結果包括第一類型結果和第二類型結果。其中，第二類型結果由上層節點基於從其對應的上層節點接收的結果判定。如，該第二類型結果由上層節點對應的各上層節點的訓練結果構成。需要說明的是，上述目標模型可以由任務處理器在發佈模型訓練任務時指定。如，可以為LR模型、GBDT模型或者DNN模型中的任一種。此外，上述第一類型結果或者第二類型結果可以是指目標模型的中間模型梯度和/或中間模型參數。還需要說明的是，上述第一訓練結果的個數可以基於對應的上層節點的個數判定。也即在對應的上層節點的個數為多個時，上述第一訓練結果的個數也可以為多個。以圖1中第2個層級的節點9為例來說，節點9可以接收節點1和節點2各自發送的第一訓練結果，也即節點9接收到的第一訓練結果的個數為兩個。其中，節點1(或節點2)發送的第一訓練結果只包括第一類型結果，即其由節點1(或節點2)在接收到任務處理器在區塊鏈上發佈的模型訓練任務時，基於在鏈下維護的私有資料，對目標模型進行訓練後得到。而對於第3個層級的節點13，其可以接收節點9和節點10各自發送的第一訓練結果，也即節點13接收到的第一訓練結果的個數為兩個。其中，節點9(或節點10)發送的第一訓練結果包括第一類型結果和第二類型結果。對於節點9，對應的第一類型結果由節點9在接收到節點1和節點2發送的第一訓練結果時，基於在鏈下維護的私有資料，對目標模型進行訓練後得到。而對應的第二類型結果由對應於節點9的節點1和節點2發送的第一訓練結果構成。步驟304，基於其鏈下維護的私有資料，對其在鏈上維護的多種模型中的目標模型進行訓練，得到第二訓練結果。如，第2個層級的節點9可以對目標模型進行訓練，從而得到第二訓練結果。再如，第3個層級的節點13可以對目標模型進行訓練，從而得到第二訓練結果。步驟306，判斷當前層節點是否在最後一個層級。步驟308，若當前層節點在最後一個層級，則對第一訓練結果和第二訓練結果進行融合，得到融合結果。如，可以對第一訓練結果和第二訓練結果進行求平均或者求加權平均，得到融合結果。如，第4個層級的節點15，其可以將從節點13和節點14接收的兩個第一訓練結果和其自身得到的第二訓練結果進行求平均或者求加權平均，得到融合結果。可以理解的是，這裡相當於是對所有的節點的訓練結果進行匯總計算。而若當前層節點不在最後一個層級，則將第一訓練結果作為發送到對應的下層節點的第一訓練結果中的第二類型結果，將第二訓練結果作為發送到對應的下層節點的第一訓練結果中的第一類型結果。如，第2個層級的節點9，其可以將從節點1和節點2接收的兩個第一訓練結果分別作為兩個新的第二類型結果，此外，還可以將其自身得到的第二訓練結果作為新的第一類型結果。之後，將該兩個新的第二類型結果以及新的第一類型結果作為發送到節點13的第一訓練結果中的兩部分。步驟310，在區塊鏈上廣播融合結果，以使得多個節點基於融合結果對各自在鏈上維護的多種模型中的目標模型進行更新。可以理解的是，這裡的融合結果可以是指目標模型的總模型梯度或者總模型參數。若融合結果為總模型梯度，那麼各節點在接收到總模型梯度之後，可以基於該總模型梯度，判定總模型參數。之後，基於總模型參數，對各自對應的目標模型進行更新。若融合結果為總模型參數，各節點在接收到總模型參數之後，可以直接基於總模型參數，對各自對應的目標模型進行更新。同樣地，在執行步驟310之後，只完成了目標模型的一輪反覆運算訓練。若一輪反覆運算結束之後，目標模型對應的損失函數是否達到預定的收斂條件，則模型聯合訓練結束；否則，進入下一輪反覆運算，直至目標模型對應的損失函數達到預定的收斂條件。可以理解的是，下一輪反覆運算的過程基於更新後的目標模型執行。還需要說明的是，步驟302-步驟310是在模型聯合訓練過程中，非第1個層級的節點所進行的操作。可以理解的是，對於第1個層級的各節點，其可以在接收到任務處理器在區塊鏈上發佈的模型訓練任務時，基於其鏈下維護的私有資料，對其在鏈上維護的多種模型中的目標模型進行訓練，得到第二訓練結果。之後，可以將第二訓練結果作為發送到對應的下層節點(即第2個層級的節點)的第一訓練結果。從而對應的下層節點就可以執行上述步驟302-步驟310，直至到達最後一個層級的節點。本說明書實施例提供的基於區塊鏈的模型聯合訓練方法，可以基於區塊鏈來實現模型的聯合訓練，由此可以保證模型聯合訓練過程的安全可靠。與上述基於區塊鏈的模型聯合訓練方法對應地，本說明書一個實施例還提供的一種基於區塊鏈的模型聯合訓練裝置，該區塊鏈包括多個具有層級關係的節點，且相鄰兩個層級的節點之間具有對應關係。多個節點中的每個節點在鏈下維護有私有資料，在鏈上維護有多種模型。該裝置設置於區塊鏈的當前層節點，如圖4所示，該裝置可以包括：接收單元402，用於接收對應的上層節點發送的第一訓練結果。該第一訓練結果至少基於第一類型結果判定，第一類型結果由上層節點基於其在鏈下維護的私有資料，對其在鏈上維護的多種模型中的目標模型進行訓練後得到。若上層節點還存在對應的上層節點，則第一訓練結果基於第一類型結果和第二類型結果共同判定，第二類型結果由上層節點基於從其對應的上層節點接收的結果判定。訓練單元404，用於基於其鏈下維護的私有資料，對其在鏈上維護的多種模型中的目標模型進行訓練，得到第二訓練結果。融合單元406，用於對接收單元402接收的第一訓練結果和訓練單元404訓練得到的第二訓練結果進行融合，得到融合結果。融合單元406具體用於：將第一訓練結果作為新的第二類型結果，並將第二訓練結果作為新的第一類型結果進行求平均或者求加權平均，得到融合結果。這裡的融合結果可以包括目標模型的總模型梯度和/或總模型參數。判斷單元408，用於判斷當前層節點是否在最後一個層級。廣播單元410，用於若判斷單元408判斷當前層節點在最後一個層級，則在區塊鏈上廣播融合結果，以使得多個節點基於融合結果對各自在鏈上維護的多種模型中的目標模型進行更新。可選地，該裝置還可以包括：發送單元(圖中未示出)，用於若當前層節點不在最後一個層級，則將融合結果作為發送到對應的下層節點的第一訓練結果。可選地，該裝置還可以包括：調用單元(圖中未示出)，用於在目標模型對應的損失函數滿足預定的收斂條件時，調用智慧合約，該智慧合約被用於計算多個節點各自對應的獎勵，並向多個節點發放各自對應的獎勵，以使多個節點各自對應的虛擬資源增加。本說明書上述實施例裝置的各功能模組的功能，可以透過上述方法實施例的各步驟來實現，因此，本說明書一個實施例提供的裝置的具體工作過程，在此不復贅述。本說明書一個實施例提供的基於區塊鏈的模型聯合訓練裝置，可以保證模型聯合訓練過程的安全可靠。與上述基於區塊鏈的模型聯合訓練方法對應地，本說明書一個實施例還提供的一種基於區塊鏈的模型聯合訓練裝置，該區塊鏈包括多個具有層級關係的節點，且相鄰兩個層級的節點之間具有對應關係。多個節點中的每個節點在鏈下維護有私有資料，在鏈上維護有多種模型。該裝置設置於區塊鏈的當前層節點，如圖5所示，該裝置可以包括：接收單元502，用於接收對應的上層節點發送的第一訓練結果。該第一訓練結果至少包括第一類型結果，第一類型結果由上層節點基於其在鏈下維護的私有資料，對其在鏈上維護的多種模型中的目標模型進行訓練後得到。若上層節點還存在對應的上層節點，則第一訓練結果還包括第二類型結果，第二類型結果由上層節點基於從其對應的上層節點接收的結果判定。訓練單元504，用於基於其鏈下維護的私有資料，對其在鏈上維護的多種模型中的目標模型進行訓練，得到第二訓練結果。判斷單元506，用於判斷當前層節點是否在最後一個層級。融合單元508，用於若判斷單元506判斷當前層節點在最後一個層級，則對第一訓練結果和第二訓練結果進行融合，得到融合結果。融合單元508具體可以用於：對第一訓練結果和第二訓練結果進行求平均或者求加權平均，得到融合結果。廣播單元510，用於在區塊鏈上廣播融合單元508得到的融合結果，以使得多個節點基於融合結果對各自在鏈上維護的多種模型中的目標模型進行更新。可選地，該裝置還可以包括：發送單元(圖中未示出)，用於若判斷單元506判斷當前層節點不在最後一個層級，則將第一訓練結果作為發送到對應的下層節點的第一訓練結果中的第二類型結果，將第二訓練結果作為發送到對應的下層節點的第一訓練結果中的第一類型結果。本說明書上述實施例裝置的各功能模組的功能，可以透過上述方法實施例的各步驟來實現，因此，本說明書一個實施例提供的裝置的具體工作過程，在此不復贅述。本說明書一個實施例提供的基於區塊鏈的模型聯合訓練裝置，可以保證模型聯合訓練過程的安全可靠。另一方面，本說明書的實施例提供了一種電腦可讀儲存媒體，其上儲存有電腦程式，當所述電腦程式在電腦中執行時，令電腦執行圖2或圖3所示的方法。另一方面，本說明書的實施例提供一種計算設備，包括記憶體和處理器，所述記憶體中儲存有可執行代碼，所述處理器執行所述可執行代碼時，實現圖2或圖3所示的方法。本說明書中的各個實施例均採用遞進的方式描述，各個實施例之間相同相似的部分互相參見即可，每個實施例重點說明的都是與其他實施例的不同之處。尤其，對於設備實施例而言，由於其基本相似於方法實施例，所以描述的比較簡單，相關之處參見方法實施例的部分說明即可。結合本說明書公開內容所描述的方法或者演算法的步驟可以硬體的方式來實現，也可以是由處理器執行軟體指令的方式來實現。軟體指令可以由相應的軟體模組組成，軟體模組可以被存放於RAM記憶體、快閃記憶體、ROM記憶體、EPROM記憶體、EEPROM記憶體、暫存器、硬碟、移動硬碟、CD-ROM或者本領域熟知的任何其它形式的儲存媒體中。一種示例性的儲存媒體耦合至處理器，從而使處理器能夠從該儲存媒體讀取資訊，且可向該儲存媒體寫入資訊。當然，儲存媒體也可以是處理器的組成部分。處理器和儲存媒體可以位於ASIC中。另外，該ASIC可以位於伺服器中。當然，處理器和儲存媒體也可以作為分立元件存在於伺服器中。本領域技術人員應該可以意識到，在上述一個或多個示例中，本發明所描述的功能可以用硬體、軟體、韌體或它們的任意組合來實現。當使用軟體實現時，可以將這些功能儲存在電腦可讀媒體中或者作為電腦可讀媒體上的一個或多個指令或代碼進行傳輸。電腦可讀媒體包括電腦儲存媒體和通訊媒體，其中通訊媒體包括便於從一個地方向另一個地方傳送電腦程式的任何媒體。儲存媒體可以是通用或專用電腦能夠存取的任何可用媒體。上述對本說明書特定實施例進行了描述。其它實施例在所附申請專利範圍的範圍內。在一些情況下，在申請專利範圍中記載的動作或步驟可以按照不同於實施例中的順序來執行並且仍然可以實現期望的結果。另外，在圖式中描繪的過程不一定要求示出的特定順序或者連續順序才能實現期望的結果。在某些實施方式中，多工處理和並行處理也是可以的或者可能是有利的。以上所述的具體實施方式，對本說明書的目的、技術方案和有益效果進行了進一步詳細說明，所應理解的是，以上所述僅為本說明書的具體實施方式而已，並不用於限定本說明書的保護範圍，凡在本說明書的技術方案的基礎之上，所做的任何修改、等同替換、改進等，均應包括在本說明書的保護範圍之內。

1,2,3,4,5,6,7,8,9,10,11,12,13,14,15:節點 202,204,206,208,210,302,304,306,308,310:步驟 402,502:接收單元 404,504:訓練單元 406,508:融合單元 408,506:判斷單元 410,510:廣播單元

為了更清楚地說明本說明書實施例的技術方案，下面將對實施例描述中所需要使用的圖式作簡單地介紹，顯而易見地，下面描述中的圖式僅僅是本說明書的一些實施例，對於本領域普通技術人員來講，在不付出創造性勞動的前提下，還可以根據這些圖式獲得其它的圖式。 [圖1]為本說明書提供的基於區塊鏈的模型聯合訓練方法實施場景示意圖； [圖2]為本說明書一個實施例提供的基於區塊鏈的模型聯合訓練方法流程圖； [圖3]為本說明書另一個實施例提供的基於區塊鏈的模型聯合訓練方法流程圖； [圖4]為本說明書一個實施例提供的基於區塊鏈的模型聯合訓練裝置示意圖； [圖5]為本說明書另一個實施例提供的基於區塊鏈的模型聯合訓練裝置示意圖。

Claims

一種基於區塊鏈的模型聯合訓練方法，所述區塊鏈包括多個具有層級關係的節點，且相鄰兩個層級的節點之間具有對應關係；所述多個節點中的每個節點在鏈下維護有私有資料，在鏈上維護有多種模型；所述方法由所述區塊鏈的當前層節點執行，包括：接收對應的上層節點發送的第一訓練結果；所述第一訓練結果至少基於第一類型結果判定；所述第一類型結果由所述上層節點基於其在鏈下維護的私有資料，對其在鏈上維護的多種模型中的目標模型進行訓練後得到；基於其鏈下維護的私有資料，對其在鏈上維護的多種模型中的所述目標模型進行訓練，得到第二訓練結果；對所述第一訓練結果和所述第二訓練結果進行融合，得到融合結果；判斷所述當前層節點是否在最後一個層級；若所述當前層節點在最後一個層級，則在所述區塊鏈上廣播所述融合結果，以使得所述多個節點基於所述融合結果對各自在鏈上維護的多種模型中的所述目標模型進行更新。
如請求項1所述的方法，若所述上層節點還存在對應的上層節點，則所述第一訓練結果基於所述第一類型結果和第二類型結果共同判定；所述第二類型結果由所述上層節點基於從其對應的上層節點接收的結果判定。
如請求項2所述的方法，所述對所述第一訓練結果和所述第二訓練結果進行融合，得到融合結果，包括：將所述第一訓練結果作為新的第二類型結果，並將所述第二訓練結果作為新的第一類型結果進行求平均或者求加權平均，得到融合結果。
如請求項1所述的方法，還包括：若所述當前層節點不在最後一個層級，則將所述融合結果作為發送到對應的下層節點的第一訓練結果。
如請求項1所述的方法，所述融合結果包括所述目標模型的總模型梯度和/或總模型參數。
如請求項1所述的方法，還包括：在所述目標模型對應的損失函數滿足預定的收斂條件時，調用智慧合約，所述智慧合約被用於計算所述多個節點各自對應的獎勵，並向所述多個節點發放各自對應的獎勵，以使所述多個節點各自對應的虛擬資源增加。
一種基於區塊鏈的模型聯合訓練方法，所述區塊鏈包括多個具有層級關係的節點，且相鄰兩個層級的節點之間具有對應關係；所述多個節點中的每個節點在鏈下維護有私有資料，在鏈上維護有多種模型；所述方法由所述區塊鏈的當前層節點執行，包括：接收對應的上層節點發送的第一訓練結果；所述第一訓練結果至少包括第一類型結果；所述第一類型結果由所述上層節點基於其在鏈下維護的私有資料，對其在鏈上維護的多種模型中的目標模型進行訓練後得到；基於其鏈下維護的私有資料，對其在鏈上維護的多種模型中的所述目標模型進行訓練，得到第二訓練結果；判斷所述當前層節點是否在最後一個層級；若所述當前層節點在最後一個層級，則對所述第一訓練結果和所述第二訓練結果進行融合，得到融合結果；在所述區塊鏈上廣播所述融合結果，以使得所述多個節點基於所述融合結果對各自在鏈上維護的多種模型中的所述目標模型進行更新。
如請求項7所述的方法，若所述上層節點還存在對應的上層節點，則所述第一訓練結果還包括第二類型結果，所述第二類型結果由所述上層節點基於從其對應的上層節點接收的結果判定。
如請求項8所述的方法，還包括：若所述判斷單元判斷所述當前層節點不在最後一個層級，則將所述第一訓練結果作為發送到對應的下層節點的第一訓練結果中的第二類型結果，將所述第二訓練結果作為發送到對應的下層節點的第一訓練結果中的第一類型結果。
如請求項1所述的方法，所述對所述第一訓練結果和所述第二訓練結果進行融合，得到融合結果，包括：對所述第一訓練結果和所述第二訓練結果進行求平均或者求加權平均，得到融合結果。
一種基於區塊鏈的模型聯合訓練裝置，所述區塊鏈包括多個具有層級關係的節點，且相鄰兩個層級的節點之間具有對應關係；所述多個節點中的每個節點在鏈下維護有私有資料，在鏈上維護有多種模型；所述裝置設置於所述區塊鏈的當前層節點，包括：接收單元，用於接收對應的上層節點發送的第一訓練結果；所述第一訓練結果至少基於第一類型結果判定；所述第一類型結果由所述上層節點基於其在鏈下維護的私有資料，對其在鏈上維護的多種模型中的目標模型進行訓練後得到；訓練單元，用於基於其鏈下維護的私有資料，對其在鏈上維護的多種模型中的所述目標模型進行訓練，得到第二訓練結果；融合單元，用於對所述接收單元接收的所述第一訓練結果和所述訓練單元訓練得到的所述第二訓練結果進行融合，得到融合結果；判斷單元，用於判斷所述當前層節點是否在最後一個層級；廣播單元，用於若所述判斷單元判斷所述當前層節點在最後一個層級，則在所述區塊鏈上廣播所述融合結果，以使得所述多個節點基於所述融合結果對各自在鏈上維護的多種模型中的所述目標模型進行更新。
如請求項11所述的裝置，若所述上層節點還存在對應的上層節點，則所述第一訓練結果基於所述第一類型結果和第二類型結果共同判定；所述第二類型結果由所述上層節點基於從其對應的上層節點接收的結果判定。
如請求項12所述的裝置，所述融合單元具體用於：將所述第一訓練結果作為新的第二類型結果，並將所述第二訓練結果作為新的第一類型結果進行求平均或者求加權平均，得到融合結果。
如請求項11所述的裝置，還包括：發送單元，用於若所述當前層節點不在最後一個層級，則將所述融合結果作為發送到對應的下層節點的第一訓練結果。
如請求項11所述的裝置，所述融合結果包括所述目標模型的總模型梯度和/或總模型參數。
如請求項11所述的裝置，還包括：調用單元，用於在所述目標模型對應的損失函數滿足預定的收斂條件時，調用智慧合約，所述智慧合約被用於計算所述多個節點各自對應的獎勵，並向所述多個節點發放各自對應的獎勵，以使所述多個節點各自對應的虛擬資源增加。
一種基於區塊鏈的模型聯合訓練裝置，所述區塊鏈包括多個具有層級關係的節點，且相鄰兩個層級的節點之間具有對應關係；所述多個節點中的每個節點在鏈下維護有私有資料，在鏈上維護有多種模型；所述裝置設置於所述區塊鏈的當前層節點，包括：接收單元，用於接收對應的上層節點發送的第一訓練結果；所述第一訓練結果至少包括第一類型結果；所述第一類型結果由所述上層節點基於其在鏈下維護的私有資料，對其在鏈上維護的多種模型中的目標模型進行訓練後得到；訓練單元，用於基於其鏈下維護的私有資料，對其在鏈上維護的多種模型中的所述目標模型進行訓練，得到第二訓練結果；判斷單元，用於判斷所述當前層節點是否在最後一個層級；融合單元，用於若所述判斷單元判斷所述當前層節點在最後一個層級，則對所述第一訓練結果和所述第二訓練結果進行融合，得到融合結果；廣播單元，用於在所述區塊鏈上廣播所述融合單元得到的融合結果，以使得所述多個節點基於所述融合結果對各自在鏈上維護的多種模型中的所述目標模型進行更新。
如請求項17所述的裝置，若所述上層節點還存在對應的上層節點，則所述第一訓練結果還包括第二類型結果，所述第二類型結果由所述上層節點基於從其對應的上層節點接收的結果判定。
如請求項18所述的裝置，還包括：發送單元，用於若所述判斷單元判斷所述當前層節點不在最後一個層級，則將所述第一訓練結果作為發送到對應的下層節點的第一訓練結果中的第二類型結果，將所述第二訓練結果作為發送到對應的下層節點的第一訓練結果中的第一類型結果。
如請求項11所述的裝置，所述融合單元具體用於：對所述第一訓練結果和所述第二訓練結果進行求平均或者求加權平均，得到融合結果。
一種電腦可讀儲存媒體，其上儲存有電腦程式，當所述電腦程式在電腦中執行時，令電腦執行請求項1-6中任一項所述的方法或請求項7-10中任一項所述的方法。
一種計算設備，包括記憶體和處理器，所述記憶體中儲存有可執行代碼，所述處理器執行所述可執行代碼時，實現請求項1-6中任一項所述的方法或請求項7-10中任一項所述的方法。