TWI717221B - 模型參數確定方法、裝置和電子設備 - Google Patents

模型參數確定方法、裝置和電子設備 Download PDF

Info

Publication number
TWI717221B
TWI717221B TW109107096A TW109107096A TWI717221B TW I717221 B TWI717221 B TW I717221B TW 109107096 A TW109107096 A TW 109107096A TW 109107096 A TW109107096 A TW 109107096A TW I717221 B TWI717221 B TW I717221B
Authority
TW
Taiwan
Prior art keywords
share
product
matrix
model parameter
partner
Prior art date
Application number
TW109107096A
Other languages
English (en)
Other versions
TW202107459A (zh
Inventor
周亞順
李漓春
殷山
王華忠
Original Assignee
開曼群島商創新先進技術有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 開曼群島商創新先進技術有限公司 filed Critical 開曼群島商創新先進技術有限公司
Application granted granted Critical
Publication of TWI717221B publication Critical patent/TWI717221B/zh
Publication of TW202107459A publication Critical patent/TW202107459A/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/211—Schema design and management
    • G06F16/212—Schema design and management with details for data modelling support
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245—Protecting personal data, e.g. for financial or medical purposes

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • Bioethics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Data Mining & Analysis (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本說明書實施例提供一種模型參數確定方法、裝置和電子設備。所述方法包括：使用牛頓法，根據特徵資料和第一模型參數的份額，採用秘密分享的方式，確定新的第一模型參數的份額；進而，使用梯度下降法，根據特徵資料和新的第一模型參數的份額，採用秘密分享的方式，確定第二模型參數的份額。

Description

模型參數確定方法、裝置和電子設備
本說明書實施例有關電腦技術領域，特別有關一種模型參數確定方法、裝置和電子設備。
大資料時代，存在非常多的資料孤島。資料通常分散存於不同的企業中，企業與企業之間由於競爭關係和隱私保護的考慮，並不是完全的互相信任。在一些情況下，企業與企業之間需要進行合作安全建模，以便在充分保護企業資料隱私的前提下，使用各方的資料對資料處理模型進行協作訓練。 在對資料處理模型進行協作訓練的過程中，可以使用模型參數最佳化方法對資料處理模型的模型參數進行多次最佳化調整。由於用於對資料處理模型進行訓練的資料是分散在合作建模的各方的，因此如何在保護資料隱私的條件下，協作確定資料處理模型的模型參數，是當前亟需解決的技術問題。
本說明書實施例的目的是提供一種模型參數確定方法、裝置和電子設備，以在保護資料隱私的前提下，由多方協作確定資料處理模型的模型參數。 為實現上述目的，本說明書中一個或多個實施例提供的技術方案如下。 根據本說明書一個或多個實施例的第一態樣，提供了一種模型參數確定方法，應用於第一資料方，包括：根據特徵資料和第一模型參數的份額與合作方秘密分享第一乘積，得到第一乘積的份額，所述第一乘積為特徵資料和第一模型參數的乘積；根據第一乘積的份額與合作方秘密分享激勵函數的取值，得到激勵函數取值的份額；根據特徵資料和激勵函數取值的份額與合作方秘密分享損失函數的梯度和海森矩陣，分別得到損失函數梯度的份額和海森矩陣的份額；根據隨機正交矩陣的份額和海森矩陣的份額與合作方秘密分享第二乘積，得到第二乘積的份額，所述第二乘積為隨機正交矩陣和海森矩陣之間的乘積；在第二乘積的條件數滿足預設條件時，根據海森矩陣的份額與合作方秘密分享第一逆矩陣，得到第一逆矩陣的份額，所述第一逆矩陣為海森矩陣的逆矩陣；根據第一逆矩陣的份額、損失函數梯度的份額和第一模型參數的份額與合作方秘密分享新的第一模型參數，得到新的第一模型參數的份額。 根據本說明書一個或多個實施例的第二態樣，提供了一種模型參數確定方法，應用於第二資料方，包括：根據第一模型參數的份額與合作方秘密分享第一乘積，得到第一乘積的份額，所述第一乘積為特徵資料和第一模型參數的乘積；根據第一乘積的份額與合作方秘密分享激勵函數的取值，得到激勵函數取值的份額；根據標籤和激勵函數取值的份額與合作方秘密分享損失函數的梯度，得到損失函數梯度的份額；根據激勵函數取值的份額與合作方秘密分享海森矩陣，得到海森矩陣的份額；根據隨機正交矩陣的份額和海森矩陣的份額與合作方秘密分享第二乘積，得到第二乘積的份額，所述第二乘積為隨機正交矩陣和海森矩陣之間的乘積；在第二乘積的條件數滿足預設條件時，根據海森矩陣的份額與合作方秘密分享第一逆矩陣，得到第一逆矩陣的份額，所述第一逆矩陣為海森矩陣的逆矩陣；根據第一逆矩陣的份額、損失函數梯度的份額和第一模型參數的份額與合作方秘密分享新的第一模型參數，得到新的第一模型參數的份額。 根據本說明書一個或多個實施例的第三態樣，提供了一種模型參數確定裝置，應用於第一資料方，包括：第一秘密分享單元，用於根據特徵資料和第一模型參數的份額與合作方秘密分享第一乘積，得到第一乘積的份額，所述第一乘積為特徵資料和第一模型參數的乘積；第二秘密分享單元，用於根據第一乘積的份額與合作方秘密分享激勵函數的取值，得到激勵函數取值的份額；第三秘密分享單元，用於根據特徵資料和激勵函數取值的份額與合作方秘密分享損失函數的梯度和海森矩陣，分別得到損失函數梯度的份額和海森矩陣的份額；第四秘密分享單元，用於根據隨機正交矩陣的份額和海森矩陣的份額與合作方秘密分享第二乘積，得到第二乘積的份額，所述第二乘積為隨機正交矩陣和海森矩陣之間的乘積；第五秘密分享單元，用於在第二乘積的條件數滿足預設條件時，根據海森矩陣的份額與合作方秘密分享第一逆矩陣，得到第一逆矩陣的份額，所述第一逆矩陣為海森矩陣的逆矩陣；第六秘密分享單元，用於根據第一逆矩陣的份額、損失函數梯度的份額和第一模型參數的份額與合作方秘密分享新的第一模型參數，得到新的第一模型參數的份額。 根據本說明書一個或多個實施例的第四態樣，提供了一種模型參數確定裝置，應用於第二資料方，包括：第一秘密分享單元，用於根據第一模型參數的份額與合作方秘密分享第一乘積，得到第一乘積的份額，所述第一乘積為特徵資料和第一模型參數的乘積；第二秘密分享單元，用於根據第一乘積的份額與合作方秘密分享激勵函數的取值，得到激勵函數取值的份額；第三秘密分享單元，用於根據激勵函數取值的份額與合作方秘密分享損失函數的梯度和海森矩陣，分別得到損失函數梯度的份額和海森矩陣的份額；第四秘密分享單元，用於根據隨機正交矩陣的份額和海森矩陣的份額與合作方秘密分享第二乘積，得到第二乘積的份額，所述第二乘積為隨機正交矩陣和海森矩陣之間的乘積；第五秘密分享單元，用於在第二乘積的條件數滿足預設條件時，根據海森矩陣的份額與合作方秘密分享第一逆矩陣，得到第一逆矩陣的份額，所述第一逆矩陣為海森矩陣的逆矩陣；第六秘密分享單元，用於根據第一逆矩陣的份額、損失函數梯度的份額和第一模型參數的份額與合作方秘密分享新的第一模型參數，得到新的第一模型參數的份額。 根據本說明書一個或多個實施例的第五態樣，提供了一種電子設備，包括：記憶體，用於儲存電腦指令；處理器，用於執行所述電腦指令以實現如第一態樣所述的方法步驟。 根據本說明書一個或多個實施例的第六態樣，提供了一種電子設備，包括：記憶體，用於儲存電腦指令；處理器，用於執行所述電腦指令以實現如第二態樣所述的方法步驟。 由以上本說明書實施例提供的技術方案可見，本說明書實施例，第一資料方和第二資料方可以利用秘密分享演算法，在不洩漏自身所擁有的資料的前提下，協作確定資料處理模型的模型參數。另外，透過條件數和預設條件，本實施例的模型參數確定方法可以避免在使用牛頓法確定模型參數的過程中由於出現病態矩陣所導致的不收斂問題。
下面將結合本說明書實施例中的圖式，對本說明書實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本說明書一部分實施例，而不是全部的實施例。基於本說明書中的實施例，本發明所屬技術領域中具有通常知識者在沒有作出創造性勞動前提下所獲得的所有其他實施例，都應當屬於本說明書保護的範圍。 模型參數最佳化方法可以包括梯度下降法、牛頓法等。所述牛頓法可以包括原始牛頓法以及基於原始牛頓法的各種變形方法(諸如阻尼牛頓法、正則化牛頓法等等；正則化牛頓法是指附帶了正則化項的牛頓法；正則化可以降低模型的複雜度和不穩定程度，從而降低過擬合的危險)。所述梯度下降法可以包括原始梯度下降法以及基於原始梯度下降法的各種變形方法(諸如批量梯度下降法、正則化梯度下降法等等；正則化梯度下降法是指附帶了正則化項的梯度下降法；正則化可以降低模型的複雜度和不穩定程度，從而降低過擬合的危險)。 相較於梯度下降法，牛頓法有著更快的收斂速度。為了減少模型參數最佳化調整的次數，提高資料處理模型的訓練效率，合作建模各方優先使用牛頓法協作確定資料處理模型的模型參數。但一些情況下(例如正負樣本比例不均衡)，在使用牛頓法確定模型參數的過程中容易出現病態矩陣，導致模型參數不收斂。因此若在使用牛頓法確定模型參數的過程中判斷海森矩陣的病態程度，則可以避免在使用牛頓法確定模型參數的過程中由於出現病態矩陣所導致的不收斂問題。另外，若在使用牛頓法確定模型參數的過程中出現了病態矩陣，則還可以使用梯度下降法代替牛頓法繼續最佳化調整模型參數，以對資料處理模型繼續進行訓練，從而實現自我調整地選擇牛頓法或梯度下降法來最佳化調整模型參數。 病態矩陣是一種特殊矩陣，指條件數較大的非奇異矩陣。病態矩陣的逆和以其為係數矩陣的方程組的界對微小擾動十分敏感，對數值求解會帶來很大困難。 矩陣的條件數可以用於度量該矩陣的病態程度。矩陣的條件數越大，則表示該矩陣的病態程度越大；矩陣的條件數越小，則表示該矩陣的病態程度越小。矩陣的條件數等於該矩陣的範數與該矩陣的逆的範數的乘積。例如，
Figure 02_image001
，
Figure 02_image003
表示矩陣
Figure 02_image005
的條件數，
Figure 02_image007
表示取範數運算，
Figure 02_image009
表示矩陣
Figure 02_image005
的逆矩陣。 秘密分享(SS，Secret Sharing)是一種保護資料隱私安全的演算法。多個資料方可以在不洩漏自身資料的前提下，使用秘密分享演算法進行協作計算，得到秘密資訊。每個資料方可以獲得該秘密資訊的一份份額。單個資料方無法恢復該秘密資訊。只有多個資料方一同協作才能恢復該秘密資訊。例如資料方 P 1擁有資料 x 1，資料方 P 2擁有資料 x 2。採用秘密分享演算法，資料方 P 1和資料方 P 2可以進行協作計算，得到秘密資訊
Figure 02_image012
。資料方 P 1在計算後可以獲得秘密資訊 y的份額 y 1，資料方 P 2在計算後可以獲得秘密資訊 y的份額 y 2。 在合作安全建模的場景中，出於保護資料隱私的考慮，多個資料方可以在不洩漏自身所擁有的資料的前提下，基於自身擁有的資料，對資料處理模型進行協作訓練。所述資料處理模型包括但不限於邏輯回歸模型、神經網路模型等。在對資料處理模型進行訓練的過程中，可以利用模型參數最佳化方法對資料處理模型的模型參數進行最佳化調整。考慮到在合作安全建模的場景中，用於對資料處理模型進行訓練的資料分散在合作建模的各資料方。因此在合作安全建模的場景中，所述模型參數最佳化方法可以採用秘密分享演算法來實現。 損失函數(Loss Function)可以用於衡量資料處理模型的預測值與真實值之間不一致的程度。損失函數的值越小，表示資料處理模型的魯棒性越好。所述損失函數包括但不限於對數損失函數(Logarithmic Loss Function)、平方損失函數(Square Loss)等。 海森矩陣(Hessian Matrix)，又稱為黑塞矩陣、海瑟矩陣或海塞矩陣等，是損失函數的二階偏導數所構成的方陣，用於表示損失函數的局部曲率。 激勵函數(Activation Function)，又稱為啟動函數，可以用於構建資料處理模型。激勵函式定義了在給定輸入下的輸出。透過激勵函數可以在資料處理模型中加入非線性因素，提高資料處理模型的表達能力。所述激勵函數例如可以包括Sigmoid函數、Tanh函數和ReLU函數等等。 本說明書提供一種模型參數確定系統的實施例。 請參閱圖1。在該實施例中，所述模型參數確定系統可以包括第一資料方、第二資料方和可信任的第三方(TTP，Trusted Third Party)。 所述第三方可以為一個伺服器；或者，還可以為包括多個伺服器的伺服器集群。所述第三方可以用於向所述第一資料方和所述第二資料方提供亂數。具體地，所述第三方可以產生隨機正交矩陣，可以將所述隨機正交矩陣中的各個亂數拆分為兩個份額，可以將其中一個份額作為第一份額，將其中另一個份額作為第二份額。所述第三方可以將所述隨機正交矩陣中各個亂數的第一份額形成的矩陣作為所述隨機正交矩陣的第一份額，將所述隨機正交矩陣中各個亂數的第二份額形成的矩陣作為所述隨機正交矩陣的第二份額；可以向所述第一資料方發送所述隨機正交矩陣的第一份額，可以向所述第二資料方發送所述隨機正交矩陣的第二份額。其中，所述隨機正交矩陣的第一份額和所述隨機正交矩陣的第二份額的和等於所述隨機正交矩陣。另外，一方面所述隨機正交矩陣可以為由亂數構成的亂數矩陣；另一方面所述隨機正交矩陣還可以為正交矩陣。一個方陣與一個正交矩陣相乘後可以得到一個新的矩陣，該新的矩陣與該方陣具有相同的條件數。這樣便於第一資料方和第二資料方在不洩漏自身持有的海森矩陣的份額的條件下，協作計算得到海森矩陣的條件數；進而便於根據條件數來度量海森矩陣的病態程度。具體過程詳見後面的實施例。 所述第一資料方和所述第二資料方分別為合作安全建模的雙方。所述第一資料方可以為不持有標籤的資料方，所述第二資料方可以為持有標籤的資料方。例如，所述第一資料方可以持有完整的特徵資料，所述第二資料方可以持有特徵資料的標籤。或者，所述第一資料方可以持有特徵資料的一部分資料項目，所述第二資料方可以持有特徵資料的另一部分資料項目和標籤。具體地，例如，特徵資料可以包括使用者的儲蓄金額和借貸金額。所述第一資料方可以持有使用者的儲蓄金額，所述第二資料方可以持有使用者的借貸金額和特徵資料的標籤。所述標籤可以用於區分不同類型的特徵資料，具體數值例如可以取自0和1。這裡的資料方可以為電子設備。所述電子設備可以包括個人電腦、伺服器、手持設備、可擕式設備、平板型設備、多處理器裝置；或者，還可以包括由以上任何多個裝置或設備所構成的集群等。另外，特徵資料及其對應的標籤共同構成了樣本資料，樣本資料可以用於對資料處理模型進行訓練。 在合作安全建模的場景中，所述第一資料方和所述第二資料方可以分別獲得第一模型參數的一份份額。這裡可以將所述第一資料方獲得份額作為第一模型參數的第一份額，可以將所述第二資料方獲得份額作為第一模型參數的第二份額。第一模型參數的第一份額和第一模型參數的第二份額的和等於第一模型參數。 所述第一資料方可以接收隨機正交矩陣的第一份額。所述第二資料方可以接收隨機正交矩陣的第二份額。如此所述第一資料方可以基於第一模型參數的第一份額、特徵資料和隨機正交矩陣的第一份額，所述第二資料方可以基於第一模型參數的第二份額、標籤和隨機正交矩陣的第二份額，採用秘密分享的方式，協作確定新的第一模型參數。所述第一資料方和所述第二資料方可以分別獲得新的第一模型參數的一份份額。具體過程可以參見後面的模型參數確定方法實施例。 本說明書還提供一種模型參數確定方法的實施例。 請參閱圖2。該實施例可以包括以下步驟。 步驟S101：第一資料方根據特徵資料和第一模型參數的第一份額，第二資料方根據第一模型參數的第二份額，秘密分享第一乘積。第一資料方獲得第一乘積的第一份額，第二資料方獲得第一乘積的第二份額。所述第一乘積為特徵資料和第一模型參數的乘積。 步驟S103：第一資料方根據第一乘積的第一份額，第二資料方根據第一乘積的第二份額，秘密分享激勵函數的取值。第一資料方獲得激勵函數取值的第一份額，第二資料方獲得激勵函數取值的第二份額。 步驟S105：第一資料方根據特徵資料和激勵函數取值的第一份額，第二資料方根據標籤和激勵函數取值的第二份額，秘密分享損失函數的梯度。第一資料方獲得損失函數梯度的第一份額，第二資料方獲得損失函數梯度的第二份額。 步驟S107：第一資料方根據特徵資料和激勵函數取值的第一份額，第二資料方根據激勵函數取值的第二份額，秘密分享海森矩陣。第一資料方獲得海森矩陣的第一份額，第二資料方獲得海森矩陣的第二份額。 步驟S109：第一資料方根據隨機正交矩陣的第一份額和海森矩陣的第一份額，第二資料方根據隨機正交矩陣的第二份額和海森矩陣的第二份額，秘密分享第二乘積。第一資料方獲得第二乘積的第一份額，第二資料方獲得第二乘積的第二份額。所述第二乘積為隨機正交矩陣和海森矩陣之間的乘積。 步驟S111：在第二乘積的條件數滿足預設條件時，第一資料方根據海森矩陣的第一份額，第二資料方根據海森矩陣的第二份額，秘密分享第一逆矩陣。第一資料方獲得第一逆矩陣的第一份額，第二資料方獲得第一逆矩陣的第二份額。第一逆矩陣為海森矩陣的逆矩陣。 步驟S113：第一資料方根據第一模型參數的第一份額、第一逆矩陣的第一份額和損失函數梯度的第一份額，第二資料方根據第一模型參數的第二份額、第一逆矩陣的第二份額和損失函數梯度的第二份額，秘密分享新的第一模型參數。第一資料方獲得新的第一模型參數的第一份額，第二資料方獲得新的第一模型參數的第二份額。 下面介紹在實施例中涉及的一些術語。 (一)、第一乘積、第二乘積、第三乘積、第四乘積和第五乘積。所述第一乘積可以為第一模型參數和特徵資料之間的乘積。所述第二乘積可以為隨機正交矩陣和海森矩陣之間的乘積。所述第三乘積可以為海森矩陣的逆矩陣和損失函數梯度之間的乘積。所述第四乘積可以為損失函數梯度的第一份額與預設步長的乘積。所述第五乘積可以為損失函數梯度的第二份額與預設步長的乘積。 在一些場景示例中，所述第一乘積可以表示為
Figure 02_image014
；其中，
Figure 02_image016
表示第一模型參數，具體為第一模型參數構成的向量；
Figure 02_image018
表示特徵資料，具體為特徵資料構成的矩陣。 所述第二乘積可以表示為
Figure 02_image020
，其中，
Figure 02_image022
表示海森矩陣，
Figure 02_image024
表示隨機正交矩陣。 所述第三乘積可以表示為
Figure 02_image026
，其中，
Figure 02_image028
表示海森矩陣的逆矩陣，
Figure 02_image030
表示損失函數的梯度，
Figure 02_image030
為向量。 所述第四乘積可以表示為
Figure 02_image032
，所述第五乘積可以表示為
Figure 02_image034
。其中，
Figure 02_image036
表示預設步長，
Figure 02_image038
表示損失函數梯度的第一份額，
Figure 02_image040
表示損失函數梯度的第二份額，
Figure 02_image042
。 (二)、第一逆矩陣和第二逆矩陣。鑒於海森矩陣為方陣，因而可以對海森矩陣進行求逆處理，可以將海森矩陣的逆矩陣作為第一逆矩陣。所述第二乘積可以為方陣，因而可以對所述第二乘積進行求逆處理，可以將所述第二乘積的逆矩陣作為第二逆矩陣。 延續前面的場景示例，所述第一逆矩陣可以表示為
Figure 02_image028
，所述第二逆矩陣可以表示為
Figure 02_image045
。 在一些實施例中，在步驟S101中，所述第一資料方可以根據特徵資料和第一模型參數的第一份額，所述第二資料方可以根據第一模型參數的第二份額，秘密分享第一乘積。所述第一資料方和所述第二資料方可以分別獲得所述第一乘積的一份份額。為了便於描述，可以將所述第一資料方獲得的份額作為第一乘積的第一份額，可以將所述第二資料方獲得的份額作為第一乘積的第二份額。第一乘積的第一份額和第一乘積的第二份額的和等於第一乘積。 延續前面的場景示例，第一模型參數的第一份額可以表示為
Figure 02_image047
，第一模型參數的第二份額可以表示為
Figure 02_image049
，
Figure 02_image051
。所述第一資料方可以根據
Figure 02_image018
和
Figure 02_image047
，所述第二資料方可以根據
Figure 02_image049
，秘密分享第一乘積
Figure 02_image014
。所述第一資料方可以獲得第一乘積的第一份額
Figure 02_image056
，所述第二資料方可以獲得第一乘積的第二份額
Figure 02_image058
。
Figure 02_image060
。 在一些實施例中，在步驟S103中，所述第一資料方可以根據第一乘積的第一份額，所述第二資料方可以根據第一乘積的第二份額，秘密分享多項式的取值。所述第一資料方和所述第二資料方可以分別獲得所述多項式取值的一份份額。所述多項式可以用於擬合所述資料處理模型的激勵函數。如此可以將所述第一資料方獲得的份額作為激勵函數取值的第一份額，可以將所述第二資料方獲得的份額作為激勵函數取值的第二份額。激勵函數取值的第一份額和激勵函數取值的第二份額的和等於激勵函數的取值。 延續前面的場景示例，所述激勵函數可以為Sigmoid函數。所述激勵函數的取值可以表示為
Figure 02_image062
。所述激勵函數取值的第一份額可以表示為
Figure 02_image064
，所述激勵函數取值的第二份額可以表示為
Figure 02_image066
。其中，
Figure 02_image068
。
Figure 02_image064
、
Figure 02_image066
和
Figure 02_image070
分別為向量。 在一些實施例中，在步驟S105中，所述第一資料方可以根據特徵資料和激勵函數取值的第一份額，所述第二資料方可以根據標籤和激勵函數取值的第二份額，秘密分享損失函數的梯度。所述第一資料方和所述第二資料方可以分別獲得所述損失函數梯度的一份份額。為了便於描述，可以將所述第一資料方獲得的份額作為損失函數梯度的第一份額，可以將所述第二資料方獲得的份額作為損失函數梯度的第二份額。損失函數梯度的第一份額和損失函數梯度的第二份額的和等於損失函數的梯度。 延續前面的場景示例，所述第一資料方可以根據
Figure 02_image018
和
Figure 02_image072
，所述第二資料方可以根據標籤Y和
Figure 02_image066
，秘密分享損失函數的梯度
Figure 02_image030
(具體為向量)。所述第一資料方可以獲得損失函數梯度的第一份額
Figure 02_image038
，所述第二資料方可以獲得損失函數梯度的第二份額
Figure 02_image076
。 下面介紹所述第一資料方和所述第二資料方秘密分享損失函數
Figure 02_image030
的詳細過程。 所述第一資料方可以根據
Figure 02_image018
，所述第二資料方可以根據
Figure 02_image066
，秘密分享
Figure 02_image079
。所述第一資料方可以獲得
Figure 02_image081
，所述第二資料方可以獲得
Figure 02_image083
。
Figure 02_image085
。 所述第一資料方還可以根據
Figure 02_image018
，所述第二資料方還可以根據標籤Y(具體為標籤構成的向量)，秘密分享
Figure 02_image087
。所述第一資料方可以獲得
Figure 02_image089
，所述第二資料方可以獲得
Figure 02_image091
。
Figure 02_image093
。 所述第一資料方可以計算
Figure 02_image095
；可以計算
Figure 02_image097
作為損失函數梯度
Figure 02_image030
的第一份額
Figure 02_image038
。所述第二資料方可以計算
Figure 02_image100
作為損失函數梯度
Figure 02_image030
的第二份額
Figure 02_image076
。
Figure 02_image103
。 在一些實施例中，在步驟S107中，所述第一資料方可以根據特徵資料和激勵函數取值的第一份額，所述第二資料方可以根據激勵函數取值的第二份額，秘密分享海森矩陣。所述第一資料方和所述第二資料方可以分別獲得所述海森矩陣的一份份額。為了便於描述，可以將所述第一資料方獲得的份額作為所述海森矩陣的第一份額，可以將所述第二資料方獲得的份額作為所述海森矩陣的第二份額。海森矩陣的第一份額和海森矩陣的第二份額的和等於海森矩陣。 具體地，所述第一資料方可以根據激勵函數取值的第一份額，所述第二資料方可以根據激勵函數取值的第二份額，秘密分享對角矩陣。所述第一資料方和所述第二資料方可以分別獲得所述對角矩陣的一份份額。為了便於描述，可以將所述第一資料方獲得的份額作為所述對角矩陣的第一份額，可以將所述第二資料方獲得的份額作為所述對角矩陣的第二份額。對角矩陣的第一份額和對角矩陣的第二份額的和等於對角矩陣。如此所述第一資料方可以根據特徵資料和所述對角矩陣的第一份額，所述第二資料方可以根據所述對角矩陣的第二份額，秘密分享海森矩陣。所述第一資料方可以獲得所述海森矩陣的第一份額，所述第二資料方可以獲得所述海森矩陣的第二份額。 延續前面的場景示例，所述第一資料方可以根據
Figure 02_image064
，所述第二資料方可以根據
Figure 02_image105
，秘密分享對角矩陣
Figure 02_image106
。所述第一資料方可以獲得對角矩陣的第一份額
Figure 02_image108
，所述第二資料方可以獲得對角矩陣的第二份額
Figure 02_image110
。 下面介紹所述第一資料方和所述第二資料方秘密分享對角矩陣
Figure 02_image106
的詳細過程。 所述第一資料方可以根據
Figure 02_image064
，所述第二資料方可以根據
Figure 02_image105
，秘密分享
Figure 02_image112
。所述第一資料方可以獲得
Figure 02_image114
，所述第二資料方可以獲得
Figure 02_image116
。
Figure 02_image118
。其中，
Figure 02_image120
表示按位相乘運算。例如，向量
Figure 02_image122
，向量
Figure 02_image124
。那麼，
Figure 02_image126
。 所述第一資料方可以計算
Figure 02_image128
，所述第二資料方可以計算
Figure 02_image130
。
Figure 02_image132
。
Figure 02_image134
、
Figure 02_image136
和
Figure 02_image138
分別為向量。因而所述第一資料方可以根據
Figure 02_image134
產生對角矩陣
Figure 02_image140
的第一份額
Figure 02_image142
，所述第二資料方可以根據
Figure 02_image136
產生對角矩陣
Figure 02_image140
的第二份額
Figure 02_image145
。
Figure 02_image147
。其中，對角矩陣
Figure 02_image149
的第一份額
Figure 02_image150
和第二份額
Figure 02_image152
均可以為一個對角矩陣。在實際處理過程中，所述第一資料方可以將
Figure 02_image134
中的資料元素作為
Figure 02_image154
主對角線上的資料元素，這樣便實現了根據
Figure 02_image134
產生
Figure 02_image150
；可以將
Figure 02_image136
中的資料元素作為
Figure 02_image152
主對角線上的資料元素，這樣便實現了根據
Figure 02_image136
產生
Figure 02_image152
。 所述第一資料方可以根據
Figure 02_image018
和
Figure 02_image156
，所述第二資料方可以根據
Figure 02_image157
，秘密分享海森矩陣
Figure 02_image022
。所述第一資料方可以獲得海森矩陣的第一份額
Figure 02_image159
，所述第二資料方可以獲得海森矩陣的第二份額
Figure 02_image161
。 下面介紹所述第一資料方和所述第二資料方秘密分享海森矩陣
Figure 02_image022
的詳細過程。 所述第一資料方可以根據
Figure 02_image018
，所述第二資料方可以根據
Figure 02_image163
，秘密分享
Figure 02_image164
。所述第一資料方可以獲得
Figure 02_image166
，所述第二資料方可以獲得
Figure 02_image168
。
Figure 02_image170
。 所述第一資料方還可以根據
Figure 02_image018
，所述第二資料方還可以根據
Figure 02_image168
，秘密分享
Figure 02_image173
。所述第一資料方可以獲得
Figure 02_image175
，所述第二資料方可以獲得
Figure 02_image177
。
Figure 02_image179
。 所述第一資料方可以計算
Figure 02_image181
作為海森矩陣
Figure 02_image022
的第一份額
Figure 02_image183
。所述第二資料方可以將
Figure 02_image184
作為海森矩陣
Figure 02_image022
的第二份額
Figure 02_image183
。
Figure 02_image187
。 在一些實施例中，第三方可以向第一資料方下發隨機正交矩陣的第一份額；可以向第二資料方下發隨機正交矩陣的第二份額。隨機正交矩陣的第一份額和隨機正交矩陣的第二份額的和等於隨機正交矩陣。所述第一資料方可以接收隨機正交矩陣的第一份額，所述第二資料方可以接收隨機正交矩陣的第二份額。如此在步驟S109中，所述第一資料方可以根據隨機正交矩陣的第一份額和海森矩陣的第一份額，所述第二資料方可以根據隨機正交矩陣的第二份額和海森矩陣的第二份額，秘密分享第二乘積。所述第一資料方和所述第二資料方可以分別獲得所述第二乘積的一份份額。為了便於描述，可以將所述第一資料方獲得的份額作為第二乘積的第一份額，可以將所述第二資料方獲得的份額作為第二乘積的第二份額。第二乘積的第一份額和第二乘積的第二份額的和等於第二乘積。 延續前面的場景示例，隨機正交矩陣的第一份額可以表示為
Figure 02_image189
，隨機正交矩陣的第二份額可以表示為
Figure 02_image191
，
Figure 02_image193
。所述第一資料方可以根據
Figure 02_image189
和
Figure 02_image159
，所述第二資料方可以根據
Figure 02_image196
和
Figure 02_image198
，秘密分享第二乘積
Figure 02_image020
。所述第一資料方可以獲得第二乘積的第一份額
Figure 02_image200
，所述第二資料方可以獲得第二乘積第二份額
Figure 02_image202
。 下面介紹所述第一資料方和所述第二資料方秘密分享第二乘積
Figure 02_image020
的詳細過程。 所述第一資料方可以根據
Figure 02_image183
，所述第二資料方可以根據
Figure 02_image191
，秘密分享
Figure 02_image205
。所述第一資料方可以獲得
Figure 02_image207
，所述第二資料方可以獲得
Figure 02_image209
。
Figure 02_image211
。 所述第一資料方還可以根據
Figure 02_image189
，所述第二資料方還可以根據
Figure 02_image198
，秘密分享
Figure 02_image215
。所述第一資料方可以獲得
Figure 02_image217
，所述第二資料方可以獲得
Figure 02_image219
。
Figure 02_image221
。 所述第一資料方可以計算
Figure 02_image223
作為第二乘積的第一份額
Figure 02_image200
。所述第二資料方可以計算
Figure 02_image225
作為第二乘積的第二份額
Figure 02_image227
。
Figure 02_image229
。 在一些實施例中，所述預設條件可以包括：條件數小於或等於預設閾值。所述預設閾值可以為經驗值，或者，還可以採用其它方式(例如機器學習的方式)獲得。 所述第一資料方和所述第二資料方均可以持有所述預設條件。進而，所述第一資料方和所述第二資料方可以分別判斷第二乘積的條件數是否滿足所述預設條件。在一些實施方式中，可以由第一資料方計算第二乘積的條件數。具體地，所述第二資料方可以向所述第一資料方發送第二乘積的第二份額。所述第一資料方可以接收第二乘積的第二份額；可以將第二乘積的第二份額與自身持有的第二乘積的第一份額相加，得到第二乘積；可以計算第二乘積的條件數；可以判斷第二乘積的條件數是否滿足所述預設條件；可以向所述第二資料方發送第二乘積的條件數。所述第二資料方可以接收第二乘積的條件數；可以判斷第二乘積的條件數是否滿足所述預設條件。在另一些實施方式中，還可以由第二資料方計算第二乘積的條件數。具體地，所述第一資料方可以向所述第二資料方發送第二乘積的第一份額。所述第二資料方可以接收第二乘積的第一份額；可以將第二乘積的第一份額與自身持有的第二乘積的第二份額相加，得到第二乘積；可以計算第二乘積的條件數；可以判斷第二乘積的條件數是否滿足所述預設條件；可以向所述第一資料方發送第二乘積的條件數。所述第一資料方可以接收第二乘積的條件數；可以判斷第二乘積的條件數是否滿足所述預設條件。 或者，可以僅由第一資料方持有所述預設條件，進而僅由第一資料方判斷第二乘積的條件數是否滿足所述預設條件。具體地，所述第二資料方可以向所述第一資料方發送第二乘積的第二份額。所述第一資料方可以接收第二乘積的第二份額；可以將第二乘積的第二份額與自身持有的第二乘積的第一份額相加，得到第二乘積；可以計算第二乘積的條件數；可以判斷第二乘積的條件數是否滿足所述預設條件；可以向所述第二資料方發送判斷結果資訊。所述第二資料方可以接收判斷結果資訊。 又或者，可以僅由第二資料方持有所述預設條件，進而僅由第二資料方判斷第二乘積的條件數是否滿足所述預設條件。具體地，所述第一資料方可以向所述第二資料方發送第二乘積的第一份額。所述第二資料方可以接收第二乘積的第一份額；可以將第二乘積的第一份額與自身持有的第二乘積的第二份額相加，得到第二乘積；可以計算第二乘積的條件數；可以判斷第二乘積的條件數是否滿足所述預設條件；可以向所述第一資料方發送判斷結果資訊。所述第一資料方可以接收判斷結果資訊。 如前面所述，一個方陣與一個正交矩陣相乘後可以得到一個新的矩陣，該新的矩陣與該方陣具有相同的條件數。鑒於海森矩陣為方陣，因而第二乘積的條件數等於海森矩陣的條件數。這樣便實現了第一資料方和第二資料方在不洩漏自身持有的海森矩陣的份額的條件下，協作計算得到海森矩陣的條件數。 在一些實施例中，第二乘積的條件數滿足所述預設條件，表明第二乘積的病態程度較小，即表明海森矩陣的病態程度較小，因而可以使用牛頓法確定模型參數。如此在步驟S111中，所述第一資料方可以根據海森矩陣的第一份額，所述第二資料方可以根據海森矩陣的第二份額，秘密分享第一逆矩陣。所述第一資料方可以獲得第一逆矩陣的第一份額，所述第二資料方可以獲得第一逆矩陣的第二份額。 在一些實施方式中，可以由所述第二資料方對所述第二乘積進行求逆。具體地，所述第一資料方可以向所述第二資料方發送第二乘積的第一份額。所述第二資料方可以接收第二乘積的第一份額；可以將第二乘積的第一份額與自身的第二乘積的第二份額相加，得到第二乘積。鑒於所述第二乘積為方陣，因而所述第二資料方可以對所述第二乘積進行求逆處理，得到所述第二乘積的逆矩陣作為第二逆矩陣；可以向所述第一資料方發送所述第二逆矩陣。所述第一資料方可以接收所述第二逆矩陣。或者，在另一些實施方式中，還可以由所述第一資料方對所述第二乘積進行求逆。具體地，所述第二資料方可以向所述第一資料方發送第二乘積的第二份額。所述第一資料方可以接收第二乘積的第二份額；可以將第二乘積的第二份額與自身的第二乘積的第一份額相加，得到第二乘積。鑒於所述第二乘積為方陣，因而所述第一資料方可以對所述第二乘積進行求逆處理，得到所述第二乘積的逆矩陣作為第二逆矩陣；可以向所述第二資料方發送所述第二逆矩陣。所述第二資料方可以接收所述第二逆矩陣。 所述第一資料方可以將隨機正交矩陣的第一份額與第二逆矩陣相乘，得到第一逆矩陣的第一份額。所述第二資料方可以將隨機正交矩陣的第二份額與第二逆矩陣相乘，得到第一逆矩陣的第二份額。第一逆矩陣的第一份額和第一逆矩陣的第二份額的和等於第一逆矩陣。 延續前面的場景示例，這裡由第二資料方對第二乘積
Figure 02_image020
進行求逆。具體地，所述第一資料方可以向所述第二資料方發送第二乘積的第一份額
Figure 02_image200
。所述第二資料方可以接收第二乘積的第一份額
Figure 02_image200
；可以將第二乘積的第一份額
Figure 02_image200
與自身的第二乘積的第二份額
Figure 02_image202
相加，得到第二乘積
Figure 02_image020
；可以對第二乘積
Figure 02_image020
進行求逆處理，得到第二逆矩陣
Figure 02_image238
；可以向所述第一資料方發送第二逆矩陣
Figure 02_image238
。所述第一資料方可以接收第二逆矩陣
Figure 02_image238
。 所述第一資料方可以將第二逆矩陣
Figure 02_image238
與隨機正交矩陣的第一份額
Figure 02_image189
相乘，得到第一逆矩陣
Figure 02_image028
的第一份額
Figure 02_image243
。所述第二資料方可以將第二逆矩陣
Figure 02_image238
與隨機正交矩陣的第二份額
Figure 02_image245
相乘，得到第一逆矩陣
Figure 02_image028
的第一份額
Figure 02_image248
。
Figure 02_image250
。 在一些實施例中，在步驟S113中，所述第一資料方可以根據第一逆矩陣的第一份額和損失函數梯度的第一份額，所述第二資料方可以根據第一逆矩陣的第二份額和損失函數梯度的第二份額，秘密分享第三乘積。所述第一資料方和所述第二資料方可以分別獲得所述第三乘積的一份份額。為了便於描述，可以將所述第一資料方獲得的份額作為第三乘積的第一份額，可以將所述第二資料方獲得的份額作為第三乘積的第二份額。第三乘積的第一份額和第三乘積的第二份額的和等於第三乘積。 所述第一資料方可以將第一模型參數的第一份額與第三乘積的第一份額相減，得到新的第一模型參數的第一份額。所述第二資料方可以將第一模型參數的第二份額與第三乘積的第二份額相減，得到新的第一模型參數的第二份額。 延續前面的場景示例，所述第一資料方可以根據
Figure 02_image243
和
Figure 02_image038
，所述第二資料方可以根據
Figure 02_image254
和
Figure 02_image256
，秘密分享第三乘積
Figure 02_image258
。所述第一資料方可以獲得第三乘積的第一份額
Figure 02_image260
，所述第二資料方可以獲得第三乘積的第二份額
Figure 02_image262
。 下面介紹所述第一資料方和所述第二資料方秘密分享第三乘積
Figure 02_image258
的詳細過程。 所述第一資料方可以根據
Figure 02_image243
，所述第二資料方可以根據
Figure 02_image256
，秘密分享
Figure 02_image267
。所述第一資料方可以獲得
Figure 02_image269
，所述第二資料方可以獲得
Figure 02_image271
。
Figure 02_image273
。 所述第一資料方還可以根據
Figure 02_image038
，所述第二資料方還可以根據
Figure 02_image254
，秘密分享
Figure 02_image277
。所述第一資料方可以獲得
Figure 02_image279
，所述第二資料方可以獲得
Figure 02_image281
。
Figure 02_image283
。 所述第一資料方可以計算
Figure 02_image285
作為第三乘積的第一份額
Figure 02_image260
。所述第二資料方可以計算
Figure 02_image288
作為第三乘積的第二份額
Figure 02_image290
。
Figure 02_image292
所述第一資料方可以計算
Figure 02_image294
，所述第二資料方可以計算
Figure 02_image296
，
Figure 02_image298
表示新的第一模型參數的第一份額，
Figure 02_image300
表示新的第一模型參數的第二份額，
Figure 02_image302
表示新的第一模型參數。
Figure 02_image304
。 在一些實施例中，第二乘積的條件數不滿足所述預設條件，表明第二乘積的病態程度較大，即表明海森矩陣的病態程度較大，無法使用牛頓法確定模型參數，因而可以使用梯度下降法代替牛頓法確定模型參數。具體地，所述第一資料方可以根據第一模型參數的第一份額、損失函數梯度的第一份額和預設步長，計算新的第一模型參數的第一份額。所述第二資料方可以根據第一模型參數的第二份額、損失函數梯度的第二份額和預設步長，計算新的第一模型參數的第二份額。 所述預設步長可以用於控制梯度下降法的反覆運算速度。所述預設步長可以為任意適當正實數。例如，當預設步長過大時，反覆運算速度會過快，導致有可能無法獲得最優模型參數。當預設步長過小時，導致反覆運算速度會過慢，導致花費的時間較長。所述預設步長具體可以為經驗值；或者，也可以採用機器學習的方式得到。當然，所述預設步長還可以採用其它方式得到。所述第一資料方和所述第二資料方均可以持有所述預設步長。 所述第一資料方可以將損失函數梯度的第一份額與預設步長相乘，得到第四乘積；可以將第一模型參數的第一份額與第四乘積相減，得到新的第一模型參數的第一份額。所述第二資料方可以將損失函數梯度的第二份額與預設步長相乘，得到第五乘積；可以將第一模型參數的第二份額與第五乘積相減，得到新的第一模型參數的第二份額。新的第一模型參數的第一份額和新的第一模型參數的第二份額的和等於新的第一模型參數。 延續前面的場景示例，所述第一資料方可以將損失函數梯度的第一份額
Figure 02_image038
(具體為向量)與預設步長
Figure 02_image036
相乘(具體為向量的數乘)，得到第四乘積
Figure 02_image032
；可以將第一模型參數的第一份額
Figure 02_image047
與第四乘積
Figure 02_image032
相減，得到新的第一模型參數的第一份額
Figure 02_image309
。 所述第二資料方可以將損失函數梯度的第二份額
Figure 02_image040
(具體為向量)與預設步長
Figure 02_image036
相乘(具體為向量的數乘)，得到第五乘積
Figure 02_image034
；可以將第一模型參數的第二份額
Figure 02_image314
與第五乘積
Figure 02_image034
相減，得到新的第一模型參數的第二份額
Figure 02_image316
。其中，
Figure 02_image318
，
Figure 02_image320
表示新的第一模型參數。 在一些實施例中，還可以包括對資料處理模型的模型參數進行反覆運算最佳化調整的過程。 可以重複執行步驟S101，所述第一資料方可以獲得新的第一乘積的第一份額，所述第二資料方可以獲得新的第一乘積的第二份額。新的第一乘積為特徵資料和新的第一模型參數的乘積。可以重複執行步驟S103，所述第一資料方可以獲得新的激勵函數取值的第一份額，所述第二資料方可以獲得新的激勵函數取值的第二份額。可以重複執行步驟S105，所述第一資料方可以獲得新的損失函數梯度的第一份額，所述第二資料方可以獲得新的損失函數梯度的第二份額。可以重複執行步驟S107，所述第一資料方可以獲得新的海森矩陣的第一份額，所述第二資料方可以獲得新的海森矩陣的第二份額。可以重複執行步驟S109，所述第一資料方可以獲得新的第二乘積的第一份額，所述第二資料方可以獲得新的第二乘積的第二份額。新的第二乘積為隨機正交矩陣和新的海森矩陣之間的乘積。 在新的第二乘積的條件數滿足預設條件時，表明在該輪反覆運算過程中可以繼續使用牛頓法確定模型參數。可以重複執行步驟S111。所述第一資料方可以獲得新的第一逆矩陣的第一份額，所述第二資料方可以獲得新的第一逆矩陣的第二份額。新的第一逆矩陣為新的海森矩陣的逆矩陣。所述第一資料方可以根據新的第一模型參數的第一份額、新的第一逆矩陣的第一份額和新的損失函數梯度的第一份額，所述第二資料方根據新的第一模型參數的第二份額、新的第一逆矩陣的第二份額和新的損失函數梯度的第二份額，秘密分享第二模型參數。所述第一資料方可以獲得第二模型參數的第一份額，所述第二資料方可以獲得第二模型參數的第二份額。第二模型參數的第一份額和第二模型參數的第二份額的和等於第二模型參數。 在新的第二乘積的條件數不滿足預設條件時，表明在該輪反覆運算過程中無法繼續使用牛頓法確定模型參數，因而可以使用梯度下降法代替牛頓法確定模型參數。所述第一資料方可以根據新的第一模型參數的第一份額、新的損失函數梯度的第一份額和預設步長，計算第二模型參數的第一份額。所述第二資料方可以根據新的第一模型參數的第二份額、新的損失函數梯度的第二份額和預設步長，計算第二模型參數的第二份額。第二模型參數的第一份額和第二模型參數的第二份額的和等於第二模型參數。 本實施例中，第一資料方和第二資料方可以利用秘密分享演算法，在不洩漏自身所擁有的資料的前提下，協作確定資料處理模型的模型參數。另外，透過條件數和預設條件，本實施例的模型參數確定方法可以避免在使用牛頓法確定模型參數的過程中由於出現病態矩陣所導致的不收斂問題。 基於同樣的發明構思，本說明書還提供另一種模型參數確定方法的實施例。該實施例以第一資料方為執行主體，所述第一資料方可以持有特徵資料和第一模型參數的份額。請參閱圖3。該實施例可以包括以下步驟。 步驟S201：根據特徵資料和第一模型參數的份額與合作方秘密分享第一乘積，得到第一乘積的份額，所述第一乘積為特徵資料和第一模型參數的乘積。 在一些實施例中，所述合作方可以理解為與所述第一資料方進行合作安全建模的資料方，具體可以為前面的第二資料方。 步驟S203：根據第一乘積的份額與合作方秘密分享激勵函數的取值，得到激勵函數取值的份額。 在一些實施例中，所述第一資料方可以根據第一乘積的份額與合作方秘密分享多項式的取值，得到多項式取值的份額作為激勵函數取值的份額，所述多項式用於擬合所述激勵函數。 步驟S205：根據特徵資料和激勵函數取值的份額與合作方秘密分享損失函數的梯度和海森矩陣，分別得到損失函數梯度的份額和海森矩陣的份額。 步驟S207：根據隨機正交矩陣的份額和海森矩陣的份額與合作方秘密分享第二乘積，得到第二乘積的份額，所述第二乘積為隨機正交矩陣和海森矩陣之間的乘積。 步驟S209：在第二乘積的條件數滿足預設條件時，根據海森矩陣的份額與合作方秘密分享第一逆矩陣，得到第一逆矩陣的份額，所述第一逆矩陣為海森矩陣的逆矩陣。 在一些實施例中，所述預設條件可以包括：條件數小於或等於預設閾值。第二乘積的條件數可以由第一資料方和/或合作方來計算。第二乘積的條件數等於海森矩陣的條件數。 在一些實施例中，第二乘積的條件數滿足所述預設條件，表明第二乘積的病態程度較小，可以使用牛頓法確定模型參數。如此所述第一資料方可以根據海森矩陣的份額與合作方秘密分享第一逆矩陣，得到第一逆矩陣的份額。 步驟S211：根據第一逆矩陣的份額、損失函數梯度的份額和第一模型參數的份額與合作方秘密分享新的第一模型參數，得到新的第一模型參數的份額。 在一些實施例中，所述第一資料方可以根據第一逆矩陣的份額和損失函數梯度的份額與合作方秘密分享第三乘積，得到第三乘積的份額。所述第三乘積可以為第一逆矩陣和損失函數梯度之間的乘積。所述第一資料方可以將第一模型參數的份額與第三乘積的份額相減，得到新的第一模型參數的份額。 在一些實施例中，第二乘積的條件數不滿足所述預設條件，表明第二乘積的病態程度較大，無法使用牛頓法確定模型參數，因而可以使用梯度下降法代替牛頓法確定模型參數。所述第一資料方可以根據第一模型參數的份額、損失函數梯度的份額和預設步長，計算新的第一模型參數的份額。所述第一資料方具體可以將損失函數梯度的份額與預設步長相乘，得到第四乘積；可以將第一模型參數的份額與第四乘積相減，得到新的第一模型參數的份額。 在一些實施例中，還可以包括對資料處理模型的模型參數進行反覆運算最佳化調整的過程。 所述第一資料方可以重複執行步驟S201、步驟S203、步驟S205、步驟S207。 在新的第二乘積的條件數滿足預設條件時，表明可以繼續使用牛頓法確定模型參數。所述第一資料方可以重複執行步驟S209。所述第一資料方進而可以根據新的第一逆矩陣的份額、新的損失函數梯度的份額和新的第一模型參數的份額與合作方秘密分享第二模型參數，得到第二模型參數的份額。 在新的第二乘積的條件數不滿足預設條件時，表明需要使用梯度下降法代替牛頓法確定模型參數。所述第一資料方可以根據新的第一模型參數的份額、新的損失函數梯度的份額和預設步長，計算第二模型參數的份額。 在本實施例中，第一資料方可以利用秘密分享演算法，在不洩漏自身所擁有的資料的前提下，與合作方協作確定資料處理模型的模型參數，得到新的第一模型參數的份額。 基於同樣的發明構思，本說明書還提供另一種模型參數確定方法的實施例。該實施例以第二資料方為執行主體，所述第二資料方可以持有標籤和第一模型參數的份額。請參閱圖4。該實施例可以包括以下步驟。 步驟S301：根據第一模型參數的份額與合作方秘密分享第一乘積，得到第一乘積的份額，所述第一乘積為特徵資料和第一模型參數的乘積。 在一些實施例中，所述合作方可以理解為與所述第二資料方進行合作安全建模的資料方，具體可以為前面的第一資料方。 步驟S303：根據第一乘積的份額與合作方秘密分享激勵函數的取值，得到激勵函數取值的份額。 在一些實施例中，所述第二資料方可以根據第一乘積的份額與合作方秘密分享多項式的取值，得到多項式取值的份額作為激勵函數取值的份額，所述多項式用於擬合所述激勵函數。 步驟S305：根據標籤和激勵函數取值的份額與合作方秘密分享損失函數的梯度，得到損失函數梯度的份額；根據激勵函數取值的份額與合作方秘密分享海森矩陣，得到海森矩陣的份額。 步驟S307：根據隨機正交矩陣的份額和海森矩陣的份額與合作方秘密分享第二乘積，得到第二乘積的份額，所述第二乘積為隨機正交矩陣和海森矩陣之間的乘積。 步驟S309：在第二乘積的條件數滿足預設條件時，根據海森矩陣的份額與合作方秘密分享第一逆矩陣，得到第一逆矩陣的份額，所述第一逆矩陣為海森矩陣的逆矩陣。 在一些實施例中，所述預設條件可以包括：條件數小於或等於預設閾值。第二乘積的條件數可以由第二資料方和/或合作方來計算。第二乘積的條件數等於海森矩陣的條件數。 在一些實施例中，第二乘積的條件數滿足所述預設條件，表明第二乘積的病態程度較小，可以使用牛頓法確定模型參數。如此所述第二資料方可以根據海森矩陣的份額與合作方秘密分享第一逆矩陣，得到第一逆矩陣的份額。 步驟S311：根據第一逆矩陣的份額、損失函數梯度的份額和第一模型參數的份額與合作方秘密分享新的第一模型參數，得到新的第一模型參數的份額。 在一些實施例中，所述第二資料方可以根據第一逆矩陣的份額和損失函數梯度的份額與合作方秘密分享第三乘積，得到第三乘積的份額。所述第三乘積可以為第一逆矩陣和損失函數梯度之間的乘積。所述第二資料方可以將第一模型參數的份額與第三乘積的份額相減，得到新的第一模型參數的份額。 在一些實施例中，第二乘積的條件數不滿足所述預設條件，表明第二乘積的病態程度較大，無法使用牛頓法確定模型參數，因而可以使用梯度下降法代替牛頓法確定模型參數。所述第二資料方可以根據第一模型參數的份額、損失函數梯度的份額和預設步長，計算新的第一模型參數的份額。所述第二資料方具體可以將損失函數梯度的份額與預設步長相乘，得到第四乘積；可以將第一模型參數的份額與第四乘積相減，得到新的第一模型參數的份額。 在一些實施例中，還可以包括對資料處理模型的模型參數進行反覆運算最佳化調整的過程。 所述第二資料方可以重複執行步驟S301、步驟S303、步驟S305、步驟S307。 在新的第二乘積的條件數滿足預設條件時，表明可以繼續使用牛頓法確定模型參數。所述第二資料方可以重複執行步驟S309。所述第二資料方進而可以根據新的第一逆矩陣的份額、新的損失函數梯度的份額和新的第一模型參數的份額與合作方秘密分享第二模型參數，得到第二模型參數的份額。 在新的第二乘積的條件數不滿足預設條件時，表明需要使用梯度下降法代替牛頓法確定模型參數。所述第二資料方可以根據新的第一模型參數的份額、新的損失函數梯度的份額和預設步長，計算第二模型參數的份額。 在本實施例中，第二資料方可以利用秘密分享演算法，在不洩漏自身所擁有的資料的前提下，與合作方協作確定資料處理模型的模型參數，得到新的第一模型參數的份額。 基於同樣的發明構思，本說明書還提供一種模型參數確定裝置的實施例。請參閱圖5。該實施例可以應用於第一資料方，可以包括以下單元。 第一秘密分享單元401，用於根據特徵資料和第一模型參數的份額與合作方秘密分享第一乘積，得到第一乘積的份額，所述第一乘積為特徵資料和第一模型參數的乘積； 第二秘密分享單元403，用於根據第一乘積的份額與合作方秘密分享激勵函數的取值，得到激勵函數取值的份額； 第三秘密分享單元405，用於根據特徵資料和激勵函數取值的份額與合作方秘密分享損失函數的梯度和海森矩陣，分別得到損失函數梯度的份額和海森矩陣的份額； 第四秘密分享單元407，用於根據隨機正交矩陣的份額和海森矩陣的份額與合作方秘密分享第二乘積，得到第二乘積的份額，所述第二乘積為隨機正交矩陣和海森矩陣之間的乘積； 第五秘密分享單元409，用於在第二乘積的條件數滿足預設條件時，根據海森矩陣的份額與合作方秘密分享第一逆矩陣，得到第一逆矩陣的份額，所述第一逆矩陣為海森矩陣的逆矩陣； 第六秘密分享單元411，用於根據第一逆矩陣的份額、損失函數梯度的份額和第一模型參數的份額與合作方秘密分享新的第一模型參數，得到新的第一模型參數的份額。 基於同樣的發明構思，本說明書還提供一種模型參數確定裝置的實施例。請參閱圖6。該實施例可以應用於第二資料方，可以包括以下單元。 第一秘密分享單元501，用於根據第一模型參數的份額與合作方秘密分享第一乘積，得到第一乘積的份額，所述第一乘積為特徵資料和第一模型參數的乘積； 第二秘密分享單元503，用於根據第一乘積的份額與合作方秘密分享激勵函數的取值，得到激勵函數取值的份額； 第三秘密分享單元505，用於根據激勵函數取值的份額與合作方秘密分享損失函數的梯度和海森矩陣，分別得到損失函數梯度的份額和海森矩陣的份額； 第四秘密分享單元507，用於根據隨機正交矩陣的份額和海森矩陣的份額與合作方秘密分享第二乘積，得到第二乘積的份額，所述第二乘積為隨機正交矩陣和海森矩陣之間的乘積； 第五秘密分享單元509，用於在第二乘積的條件數滿足預設條件時，根據海森矩陣的份額與合作方秘密分享第一逆矩陣，得到第一逆矩陣的份額，所述第一逆矩陣為海森矩陣的逆矩陣； 第六秘密分享單元511，用於根據第一逆矩陣的份額、損失函數梯度的份額和第一模型參數的份額與合作方秘密分享新的第一模型參數，得到新的第一模型參數的份額。 下面介紹本說明書電子設備的一個實施例。圖7是該實施例中一種電子設備的硬體結構示意圖。如圖7所示，所述電子設備可以包括一個或多個(圖中僅示出一個)處理器、記憶體和傳輸模組。當然，本發明所屬技術領域中具有通常知識者可以理解，圖7所示的硬體結構僅為示意，其並不對上述電子設備的硬體結構造成限定。在實際中所述電子設備還可以包括比圖7所示更多或者更少的元件單元；或者，具有與圖7所示不同的配置。 所述記憶體可以包括高速隨機記憶體；或者，還可以包括非易失性記憶體，例如一個或者多個磁性儲存裝置、快閃記憶體、或者其他非易失性固態記憶體。當然，所述記憶體還可以包括遠端設置的網路記憶體。所述遠端設置的網路記憶體可以透過諸如網際網路、企業內部網、區域網路、行動通訊網等網路連接至所述電子設備。所述記憶體可以用於儲存應用軟體的程式指令或模組，例如本說明書圖3所對應實施例的程式指令或模組；和/或，本說明書圖4所對應實施例的程式指令或模組。 所述處理器可以按任何適當的方式實現。例如，所述處理器可以採取例如微處理器或處理器以及儲存可由該(微)處理器執行的電腦可讀程式碼(例如軟體或韌體)的電腦可讀媒體、邏輯閘、開關、特殊應用積體電路(Application Specific Integrated Circuit，ASIC)、可程式設計邏輯控制器和嵌入微控制器的形式等等。所述處理器可以讀取並執行所述記憶體中的程式指令或模組。 所述傳輸模組可以用於經由網路進行資料傳輸，例如經由諸如網際網路、企業內部網、區域網路、行動通訊網等網路進行資料傳輸。 需要說明的是，本說明書中的各個實施例均採用漸進的方式描述，各個實施例之間相同或相似的部分互相參見即可，每個實施例重點說明的都是與其它實施例的不同之處。尤其，對於裝置實施例和電子設備實施例而言，由於其基本相似於方法實施例，所以描述的比較簡單，相關之處參見方法實施例的部分說明即可。另外，可以理解的是，本領域技術人員在閱讀本說明書檔之後，可以無需創造性勞動想到將本說明書列舉的部分或全部實施例進行任意組合，這些組合也在本說明書揭示和保護的範圍內。 在20世紀90年代，對於一個技術的改進可以很明顯地區分是硬體上的改進(例如，對二極體、電晶體、開關等電路結構的改進)還是軟體上的改進(對於方法流程的改進)。然而，隨著技術的發展，當今的很多方法流程的改進已經可以視為硬體電路結構的直接改進。設計人員幾乎都透過將改進的方法流程程式設計到硬體電路中來得到對應的硬體電路結構。因此，不能說一個方法流程的改進就不能用硬體實體模組來實現。例如，可程式設計邏輯裝置(Programmable Logic Device, PLD)(例如現場可程式設計閘陣列(Field Programmable Gate Array，FPGA))就是這樣一種積體電路，其邏輯功能由使用者對裝置程式設計來確定。由設計人員自行程式設計來把一個數位系統“整合”在一片PLD上，而不需要請晶片製造廠商來設計和製作專用的積體電路晶片。而且，如今，取代手工地製作積體電路晶片，這種程式設計也多半改用 “邏輯編譯器(logic compiler)”軟體來實現，它與程式開發撰寫時所用的軟體編譯器相類似，而要編譯之前的原始代碼也得用特定的程式設計語言來撰寫，此稱之為硬體描述語言(Hardware Description Language，HDL)，而HDL 也並非僅有一種，而是有許多種，如ABEL(Advanced Boolean Expression Language)、AHDL(Altera Hardware Description Language)、Confluence、CUPL(Cornell University Programming Language)、HDCal、JHDL(Java Hardware Description Language)、Lava、Lola、MyHDL、PALASM、RHDL (Ruby Hardware Description Language)等，目前最普遍使用的是VHDL(Very-High-Speed Integrated Circuit Hardware Description Language ) 與Verilog2。本領域技術人員也應該清楚，只需要將方法流程用上述幾種硬體描述語言稍作邏輯程式設計並程式設計到積體電路中，就可以很容易得到實現該邏輯方法流程的硬體電路。 上述實施例闡明的系統、裝置、模組或單元，具體可以由電腦晶片或實體實現，或者由具有某種功能的產品來實現。一種典型的實現設備為電腦。具體的，電腦例如可以為個人電腦、膝上型電腦、蜂巢式電話、相機電話、智慧型電話、個人數位助理、媒體播放機、導航設備、電子郵件設備、遊戲控制台、平板電腦、穿戴式設備或者這些設備中的任何設備的組合。 透過以上的實施方式的描述可知，本領域的技術人員可以清楚地瞭解到本說明書可借助軟體加必需的通用硬體平臺的方式來實現。基於這樣的理解，本說明書的技術方案本質上或者說對現有技術做出貢獻的部分可以以軟體產品的形式體現出來，該電腦軟體產品可以儲存在儲存媒體中，如ROM/RAM、磁碟、光碟等，包括若干指令用以使得一台電腦設備(可以是個人電腦、伺服器、或者網路設備等)執行本說明書各個實施例或者實施例的某些部分所述的方法。 本說明書可用於眾多通用或專用的電腦系統環境或配置中。例如：個人電腦、伺服器電腦、手持設備或可攜式設備、平板型設備、多處理器系統、基於微處理器的系統、機上盒、可程式設計的消費電子設備、網路PC、小型電腦、大型電腦、包括以上任何系統或設備的分散式運算環境等等。 本說明書可以在由電腦執行的電腦可執行指令的一般上下文中描述，例如程式模組。一般地，程式模組包括執行特定任務或實現特定抽象資料類型的常式、程式、物件、元件、資料結構等等。也可以在分散式運算環境中實踐本說明書，在這些分散式運算環境中，由透過通訊網路而被連接的遠端處理設備來執行任務。在分散式運算環境中，程式模組可以位於包括存放裝置在內的本地和遠端電腦儲存媒體中。 雖然透過實施例描繪了本說明書，本發明所屬技術領域中具有通常知識者知道，本說明書有許多變形和變化而不脫離本說明書的精神，希望所附的申請專利範圍包括這些變形和變化而不脫離本說明書的精神。
S101:步驟 S103:步驟 S105:步驟 S107:步驟 S109:步驟 S111:步驟 S113:步驟 S103:步驟 S105:步驟 S201:步驟 S203:步驟 S205:步驟 S207:步驟 S209:步驟 S211:步驟 S301:步驟 S303:步驟 S305:步驟 S307:步驟 S309:步驟 S311:步驟 401:第一秘密分享單元 403:第二秘密分享單元 405:第三秘密分享單元 407:第四秘密分享單元 409:第五秘密分享單元 411:第六秘密分享單元 501:第一秘密分享單元 503:第二秘密分享單元 505:第三秘密分享單元 507:第四秘密分享單元 509:第五秘密分享單元 511:第六秘密分享單元
為了更清楚地說明本說明書實施例或現有技術中的技術方案，下面將對實施例或現有技術描述中所需要使用的圖式作簡單地介紹，顯而易見地，下面描述中的圖式僅僅是本說明書中記載的一些實施例，對於本發明所屬技術領域中具有通常知識者來講，在不付出創造性勞動性的前提下，還可以根據這些圖式獲得其他的圖式。 [圖1]為本說明書實施例一種模型參數確定系統的示意圖； [圖2]為本說明書實施例一種模型參數確定方法的流程圖； [圖3]為本說明書實施例一種模型參數確定方法的流程圖； [圖4]為本說明書實施例一種模型參數確定方法的流程圖； [圖5]為本說明書實施例一種模型參數確定裝置的示意圖； [圖6為本說明書實施例一種模型參數確定裝置的示意圖； [圖7]為本說明書實施例一種電子設備的功能結構圖。

Claims (26)

  1. 一種模型參數確定方法，應用於第一資料方，包括： 根據特徵資料和第一模型參數的份額與合作方秘密分享第一乘積，得到第一乘積的份額，該第一乘積為特徵資料和第一模型參數的乘積； 根據第一乘積的份額與合作方秘密分享激勵函數的取值，得到激勵函數取值的份額； 根據特徵資料和激勵函數取值的份額與合作方秘密分享損失函數的梯度和海森矩陣，分別得到損失函數梯度的份額和海森矩陣的份額； 根據隨機正交矩陣的份額和海森矩陣的份額與合作方秘密分享第二乘積，得到第二乘積的份額，該第二乘積為隨機正交矩陣和海森矩陣之間的乘積； 在第二乘積的條件數滿足預設條件時，根據海森矩陣的份額與合作方秘密分享第一逆矩陣，得到第一逆矩陣的份額，該第一逆矩陣為海森矩陣的逆矩陣；以及 根據第一逆矩陣的份額、損失函數梯度的份額和第一模型參數的份額與合作方秘密分享新的第一模型參數，得到新的第一模型參數的份額。
  2. 如請求項1之方法，還包括： 在第二乘積的條件數不滿足預設條件時，根據第一模型參數的份額、損失函數梯度的份額和預設步長，計算新的第一模型參數的份額。
  3. 如請求項1之方法，還包括： 重複執行該秘密分享第一乘積的步驟、該秘密分享激勵函數的取值的步驟、該秘密分享損失函數的梯度和海森矩陣的步驟、以及該秘密分享第二乘積的步驟； 在新的第二乘積的條件數滿足預設條件時，重複執行該秘密分享第一逆矩陣的步驟；以及 根據新的第一逆矩陣的份額、新的損失函數梯度的份額和新的第一模型參數的份額與合作方秘密分享第二模型參數，得到第二模型參數的份額。
  4. 如請求項1之方法，還包括： 重複執行該秘密分享第一乘積的步驟、該秘密分享激勵函數的取值的步驟、該秘密分享損失函數的梯度和海森矩陣的步驟、以及該秘密分享第二乘積的步驟；以及 在新的第二乘積的條件數不滿足該預設條件時，根據新的第一模型參數的份額、新的損失函數梯度的份額和預設步長，計算第二模型參數的份額。
  5. 如請求項1之方法，該根據第一乘積的份額與合作方秘密分享激勵函數的取值，得到激勵函數取值的份額，包括： 根據第一乘積的份額與合作方秘密分享多項式的取值，得到多項式取值的份額作為激勵函數取值的份額，該多項式用於擬合該激勵函數。
  6. 如請求項1之方法，還包括： 接收合作方發來的第二乘積的份額； 將自身的第二乘積的份額與接收的第二乘積的份額相加，得到第二乘積；以及 計算第二乘積的條件數。
  7. 如請求項1之方法，還包括： 向合作方發送第二乘積的份額，以便合作方計算第二乘積的條件數。
  8. 如請求項1之方法，該根據海森矩陣的份額與合作方秘密分享第一逆矩陣，得到第一逆矩陣的份額，包括： 接收合作方發來的第二乘積的份額； 將自身的第二乘積的份額與接收的第二乘積的份額相加，得到第二乘積； 計算第二乘積的逆矩陣作為第二逆矩陣；以及 將第二逆矩陣與隨機正交矩陣的份額相乘，得到第一逆矩陣的份額。
  9. 如請求項1之方法，該根據海森矩陣的份額與合作方秘密分享第一逆矩陣，得到第一逆矩陣的份額，包括： 向合作方發送第二乘積的份額； 接收合作方發來的第二乘積的逆矩陣作為第二逆矩陣；以及 將第二逆矩陣與隨機正交矩陣的份額相乘，得到第一逆矩陣的份額。
  10. 如請求項1之方法，該根據第一逆矩陣的份額、損失函數梯度的份額和第一模型參數的份額與合作方秘密分享新的第一模型參數，得到新的第一模型參數的份額，包括： 根據第一逆矩陣的份額和損失函數梯度的份額與合作方秘密分享第三乘積，得到第三乘積的份額，該第三乘積為第一逆矩陣和損失函數梯度之間的乘積；以及 將第一模型參數的份額與第三乘積的份額相減，得到新的第一模型參數的份額。
  11. 如請求項4之方法，該根據新的第一模型參數的份額、新的損失函數梯度的份額和預設步長，計算第二模型參數的份額，包括： 將新的損失函數梯度的份額與預設步長相乘，得到第四乘積；以及 將新的第一模型參數的份額與第四乘積相減，得到第二模型參數的份額。
  12. 一種模型參數確定方法，應用於第二資料方，包括： 根據第一模型參數的份額與合作方秘密分享第一乘積，得到第一乘積的份額，該第一乘積為特徵資料和第一模型參數的乘積； 根據第一乘積的份額與合作方秘密分享激勵函數的取值，得到激勵函數取值的份額； 根據標籤和激勵函數取值的份額與合作方秘密分享損失函數的梯度，得到損失函數梯度的份額；根據激勵函數取值的份額與合作方秘密分享海森矩陣，得到海森矩陣的份額； 根據隨機正交矩陣的份額和海森矩陣的份額與合作方秘密分享第二乘積，得到第二乘積的份額，該第二乘積為隨機正交矩陣和海森矩陣之間的乘積； 在第二乘積的條件數滿足預設條件時，根據海森矩陣的份額與合作方秘密分享第一逆矩陣，得到第一逆矩陣的份額，該第一逆矩陣為海森矩陣的逆矩陣；以及 根據第一逆矩陣的份額、損失函數梯度的份額和第一模型參數的份額與合作方秘密分享新的第一模型參數，得到新的第一模型參數的份額。
  13. 如請求項12之方法，還包括： 在第二乘積的條件數不滿足預設條件時，根據第一模型參數的份額、損失函數梯度的份額和預設步長，計算新的第一模型參數的份額。
  14. 如請求項12之方法，還包括： 重複執行該秘密分享第一乘積的步驟、該秘密分享激勵函數的取值的步驟、該秘密分享損失函數的梯度和海森矩陣的步驟、以及該秘密分享第二乘積的步驟； 在新的第二乘積的條件數滿足預設條件時，重複執行該秘密分享第一逆矩陣的步驟；以及 根據新的第一逆矩陣的份額、新的損失函數梯度的份額和新的第一模型參數的份額與合作方秘密分享第二模型參數，得到第二模型參數的份額。
  15. 如請求項12之方法，還包括： 重複執行該秘密分享第一乘積的步驟、該秘密分享激勵函數的取值的步驟、該秘密分享損失函數的梯度和海森矩陣的步驟、以及該秘密分享第二乘積的步驟；以及 在新的第二乘積的條件數不滿足該預設條件時，根據新的第一模型參數的份額、新的損失函數梯度的份額和預設步長，計算第二模型參數的份額。
  16. 如請求項12之方法，該根據第一乘積的份額與合作方秘密分享激勵函數的取值，得到激勵函數取值的份額，包括： 根據第一乘積的份額與合作方秘密分享多項式的取值，得到多項式取值的份額作為激勵函數取值的份額，該多項式用於擬合該激勵函數。
  17. 如請求項12之方法，還包括： 接收合作方發來的第二乘積的份額； 將自身的第二乘積的份額與接收的第二乘積的份額相加，得到第二乘積；以及 計算第二乘積的條件數。
  18. 如請求項12之方法，還包括： 向合作方發送第二乘積的份額，以便合作方計算第二乘積的條件數。
  19. 如請求項12之方法，該根據海森矩陣的份額與合作方秘密分享第一逆矩陣，得到第一逆矩陣的份額，包括： 接收合作方發來的第二乘積的份額； 將自身的第二乘積的份額與接收的第二乘積的份額相加，得到第二乘積； 計算第二乘積的逆矩陣作為第二逆矩陣；以及 將第二逆矩陣與隨機正交矩陣的份額相乘，得到第一逆矩陣的份額。
  20. 如請求項12之方法，該根據海森矩陣的份額與合作方秘密分享第一逆矩陣，得到第一逆矩陣的份額，包括： 向合作方發送第二乘積的份額； 接收合作方發來的第二乘積的逆矩陣作為第二逆矩陣；以及 將第二逆矩陣與隨機正交矩陣的份額相乘，得到第一逆矩陣的份額。
  21. 如請求項12之方法，該根據第一逆矩陣的份額、損失函數梯度的份額和第一模型參數的份額與合作方秘密分享新的第一模型參數，得到新的第一模型參數的份額，包括： 根據第一逆矩陣的份額和損失函數梯度的份額與合作方秘密分享第三乘積，得到第三乘積的份額，該第三乘積為第一逆矩陣和損失函數梯度之間的乘積；以及 將第一模型參數的份額與第三乘積的份額相減，得到新的第一模型參數的份額。
  22. 如請求項15之方法，該根據新的第一模型參數的份額、新的損失函數梯度的份額和預設步長，計算第二模型參數的份額，包括： 將新的損失函數梯度的份額與預設步長相乘，得到第四乘積；以及 將新的第一模型參數的份額與第四乘積相減，得到第二模型參數的份額。
  23. 一種模型參數確定裝置，應用於第一資料方，包括： 第一秘密分享單元，用於根據特徵資料和第一模型參數的份額與合作方秘密分享第一乘積，得到第一乘積的份額，該第一乘積為特徵資料和第一模型參數的乘積； 第二秘密分享單元，用於根據第一乘積的份額與合作方秘密分享激勵函數的取值，得到激勵函數取值的份額； 第三秘密分享單元，用於根據特徵資料和激勵函數取值的份額與合作方秘密分享損失函數的梯度和海森矩陣，分別得到損失函數梯度的份額和海森矩陣的份額； 第四秘密分享單元，用於根據隨機正交矩陣的份額和海森矩陣的份額與合作方秘密分享第二乘積，得到第二乘積的份額，該第二乘積為隨機正交矩陣和海森矩陣之間的乘積； 第五秘密分享單元，用於在第二乘積的條件數滿足預設條件時，根據海森矩陣的份額與合作方秘密分享第一逆矩陣，得到第一逆矩陣的份額，該第一逆矩陣為海森矩陣的逆矩陣；以及 第六秘密分享單元，用於根據第一逆矩陣的份額、損失函數梯度的份額和第一模型參數的份額與合作方秘密分享新的第一模型參數，得到新的第一模型參數的份額。
  24. 一種電子設備，包括： 記憶體，用於儲存電腦指令；以及 處理器，用於執行該電腦指令以實現如請求項1至11中任一項所述的方法步驟。
  25. 一種模型參數確定裝置，應用於第二資料方，包括： 第一秘密分享單元，用於根據第一模型參數的份額與合作方秘密分享第一乘積，得到第一乘積的份額，該第一乘積為特徵資料和第一模型參數的乘積； 第二秘密分享單元，用於根據第一乘積的份額與合作方秘密分享激勵函數的取值，得到激勵函數取值的份額； 第三秘密分享單元，用於根據激勵函數取值的份額與合作方秘密分享損失函數的梯度和海森矩陣，分別得到損失函數梯度的份額和海森矩陣的份額； 第四秘密分享單元，用於根據隨機正交矩陣的份額和海森矩陣的份額與合作方秘密分享第二乘積，得到第二乘積的份額，該第二乘積為隨機正交矩陣和海森矩陣之間的乘積； 第五秘密分享單元，用於在第二乘積的條件數滿足預設條件時，根據海森矩陣的份額與合作方秘密分享第一逆矩陣，得到第一逆矩陣的份額，該第一逆矩陣為海森矩陣的逆矩陣；以及 第六秘密分享單元，用於根據第一逆矩陣的份額、損失函數梯度的份額和第一模型參數的份額與合作方秘密分享新的第一模型參數，得到新的第一模型參數的份額。
  26. 一種電子設備，包括： 記憶體，用於儲存電腦指令；以及 處理器，用於執行該電腦指令以實現如請求項12至22中任一項所述的方法步驟。
TW109107096A 2019-08-09 2020-03-04 模型參數確定方法、裝置和電子設備 TWI717221B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201910734792.8 2019-08-09
CN201910734792.8A CN110569228B (zh) 2019-08-09 2019-08-09 模型参数确定方法、装置和电子设备

Publications (2)

Publication Number Publication Date
TWI717221B true TWI717221B (zh) 2021-01-21
TW202107459A TW202107459A (zh) 2021-02-16

Family

ID=68775001

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109107096A TWI717221B (zh) 2019-08-09 2020-03-04 模型參數確定方法、裝置和電子設備

Country Status (3)

Country Link
CN (1) CN110569228B (zh)
TW (1) TWI717221B (zh)
WO (1) WO2021027259A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110569228B (zh) * 2019-08-09 2020-08-04 阿里巴巴集团控股有限公司 模型参数确定方法、装置和电子设备
CN110555315B (zh) * 2019-08-09 2021-04-09 创新先进技术有限公司 基于秘密分享算法的模型参数更新方法、装置和电子设备
US10936960B1 (en) 2019-08-09 2021-03-02 Advanced New Technologies Co., Ltd. Determining model parameters using secret sharing
WO2021027598A1 (zh) * 2019-08-09 2021-02-18 创新先进技术有限公司 模型参数确定方法、装置和电子设备
US10803184B2 (en) 2019-08-09 2020-10-13 Alibaba Group Holding Limited Generation of a model parameter
CN111738361B (zh) * 2020-07-31 2020-12-08 支付宝(杭州)信息技术有限公司 业务模型的联合训练方法及装置
CN111737757B (zh) * 2020-07-31 2020-11-17 支付宝(杭州)信息技术有限公司 针对隐私数据进行安全运算的方法和装置
CN111783130B (zh) * 2020-09-04 2021-01-29 支付宝(杭州)信息技术有限公司 隐私保护的数据处理方法、装置及服务器

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001039082A2 (en) 1999-11-22 2001-05-31 Accenture Llp Scheduling and planning before and proactive management during maintenance and service in a network-based supply chain environment
WO2005034424A1 (en) * 2003-10-08 2005-04-14 Engberg Stephan J Method and system for establishing a communication using privacy enhancing techniques
CN104573142A (zh) * 2013-10-10 2015-04-29 无锡市思库瑞科技信息有限公司 基于神经网络的口令属性分析方法
CN109033288A (zh) * 2018-07-13 2018-12-18 电子科技大学 一种基于bp神经网络的智能终端安全等级分类方法
CN109633289A (zh) * 2018-12-28 2019-04-16 集美大学 一种基于倒谱和卷积神经网络的电磁红信息检测方法
US20190172073A1 (en) * 2012-09-28 2019-06-06 Rex Wiig System and method of a requirement, active compliance and resource management for cyber security application
CN109919318A (zh) * 2018-12-14 2019-06-21 阿里巴巴集团控股有限公司 数据处理方法、装置和设备
CN110232507A (zh) * 2019-05-28 2019-09-13 中国人民解放军国防科技大学 基于智能合约的众包活动全过程监管方法及系统

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110060901A1 (en) * 2009-09-04 2011-03-10 Gradiant Cryptographic System for Performing Secure Iterative Matrix Inversions and Solving Systems of Linear Equations
US9563854B2 (en) * 2014-01-06 2017-02-07 Cisco Technology, Inc. Distributed model training
CN104168114A (zh) * 2014-08-07 2014-11-26 河海大学 一种分布式的基于(k,n)门限证书加密方法及系统
JP2016085381A (ja) * 2014-10-27 2016-05-19 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 暗号化方法、暗号化装置、及び暗号化システム
CN105071938B (zh) * 2015-07-14 2018-08-21 中国科学技术大学 一种基于门限秘密共享的组认证方法
CN105406966B (zh) * 2015-12-30 2018-11-09 中国农业大学 一种门限秘密信息分配、还原、完整性验证方法及装置
CN109308418B (zh) * 2017-07-28 2021-09-24 创新先进技术有限公司 一种基于共享数据的模型训练方法及装置
KR102667837B1 (ko) * 2017-08-30 2024-05-21 인퍼, 인코포레이티드 고정밀 프라이버시 보호 실가 함수 평가
US10841086B2 (en) * 2018-02-06 2020-11-17 Wickr, Inc. Facilitating communications using hybrid cryptography
CN108491266B (zh) * 2018-03-09 2021-11-16 联想(北京)有限公司 基于区块链的数据处理方法、装置及电子设备
US11244242B2 (en) * 2018-09-07 2022-02-08 Intel Corporation Technologies for distributing gradient descent computation in a heterogeneous multi-access edge computing (MEC) networks
CN109413087B (zh) * 2018-11-16 2019-12-31 京东城市(南京)科技有限公司 数据共享方法、装置、数字网关及计算机可读存储介质
SG11201909946UA (en) * 2019-01-11 2019-11-28 Alibaba Group Holding Ltd Logistic regression modeling scheme using secrete sharing
CN109977694A (zh) * 2019-03-11 2019-07-05 暨南大学 一种基于协作深度学习的数据共享方法
CN110569227B (zh) * 2019-08-09 2020-08-14 阿里巴巴集团控股有限公司 模型参数确定方法、装置和电子设备
CN110569228B (zh) * 2019-08-09 2020-08-04 阿里巴巴集团控股有限公司 模型参数确定方法、装置和电子设备
CN110472439B (zh) * 2019-08-09 2023-08-22 创新先进技术有限公司 模型参数确定方法、装置和电子设备
CN110555315B (zh) * 2019-08-09 2021-04-09 创新先进技术有限公司 基于秘密分享算法的模型参数更新方法、装置和电子设备
CN110580409B (zh) * 2019-08-09 2023-05-30 创新先进技术有限公司 模型参数确定方法、装置和电子设备
CN110580410B (zh) * 2019-08-09 2023-07-28 创新先进技术有限公司 模型参数确定方法、装置和电子设备
CN110555525B (zh) * 2019-08-09 2021-08-13 创新先进技术有限公司 模型参数确定方法、装置和电子设备

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001039082A2 (en) 1999-11-22 2001-05-31 Accenture Llp Scheduling and planning before and proactive management during maintenance and service in a network-based supply chain environment
WO2005034424A1 (en) * 2003-10-08 2005-04-14 Engberg Stephan J Method and system for establishing a communication using privacy enhancing techniques
US20070106892A1 (en) * 2003-10-08 2007-05-10 Engberg Stephan J Method and system for establishing a communication using privacy enhancing techniques
US20190172073A1 (en) * 2012-09-28 2019-06-06 Rex Wiig System and method of a requirement, active compliance and resource management for cyber security application
CN104573142A (zh) * 2013-10-10 2015-04-29 无锡市思库瑞科技信息有限公司 基于神经网络的口令属性分析方法
CN109033288A (zh) * 2018-07-13 2018-12-18 电子科技大学 一种基于bp神经网络的智能终端安全等级分类方法
CN109919318A (zh) * 2018-12-14 2019-06-21 阿里巴巴集团控股有限公司 数据处理方法、装置和设备
CN109633289A (zh) * 2018-12-28 2019-04-16 集美大学 一种基于倒谱和卷积神经网络的电磁红信息检测方法
CN110232507A (zh) * 2019-05-28 2019-09-13 中国人民解放军国防科技大学 基于智能合约的众包活动全过程监管方法及系统

Also Published As

Publication number Publication date
CN110569228A (zh) 2019-12-13
TW202107459A (zh) 2021-02-16
WO2021027259A1 (zh) 2021-02-18
CN110569228B (zh) 2020-08-04

Similar Documents

Publication Publication Date Title
TWI717221B (zh) 模型參數確定方法、裝置和電子設備
WO2021027254A1 (zh) 模型参数确定方法、装置和电子设备
CN110555525B (zh) 模型参数确定方法、装置和电子设备
TWI724809B (zh) 模型參數確定方法、裝置和電子設備
US10936960B1 (en) Determining model parameters using secret sharing
CN110472439B (zh) 模型参数确定方法、装置和电子设备
US20200177364A1 (en) Determining data processing model parameters through multiparty cooperation
TWI740375B (zh) 資料交互方法、裝置和電子設備
TWI710981B (zh) 損失函數取值的確定方法、裝置和電子設備
CN110580410B (zh) 模型参数确定方法、装置和电子设备
CN111967035B (zh) 模型训练方法、装置和电子设备
US10803184B2 (en) Generation of a model parameter
CN110580409A (zh) 模型参数确定方法、装置和电子设备
TW202103149A (zh) 資料互動方法、裝置、伺服器和電子設備
CN112507323A (zh) 基于单向网络的模型训练方法、装置和计算设备
CN112511361B (zh) 模型训练方法、装置和计算设备
US11599703B2 (en) Chip security verification tool
WO2021027598A1 (zh) 模型参数确定方法、装置和电子设备
CN113011459B (zh) 模型训练方法、装置和计算设备
CN118363753A (zh) 应用于分布式系统的数据处理方法及装置、设备和介质