TWI769754B - 基於隱私保護確定目標業務模型的方法及裝置 - Google Patents

基於隱私保護確定目標業務模型的方法及裝置 Download PDF

Info

Publication number
TWI769754B
TWI769754B TW110110604A TW110110604A TWI769754B TW I769754 B TWI769754 B TW I769754B TW 110110604 A TW110110604 A TW 110110604A TW 110110604 A TW110110604 A TW 110110604A TW I769754 B TWI769754 B TW I769754B
Authority
TW
Taiwan
Prior art keywords
model
sub
business
business model
models
Prior art date
Application number
TW110110604A
Other languages
English (en)
Other versions
TW202139045A (zh
Inventor
濤 熊
Original Assignee
大陸商支付寶（杭州）信息技術有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 大陸商支付寶（杭州）信息技術有限公司 filed Critical 大陸商支付寶（杭州）信息技術有限公司
Publication of TW202139045A publication Critical patent/TW202139045A/zh
Application granted granted Critical
Publication of TWI769754B publication Critical patent/TWI769754B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Bioethics (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本說明書實施例提供一種基於隱私保護確定目標業務模型的方法和裝置，先對選定的複雜業務模型進行初始訓練，得到初始業務模型，然後對初始業務模型進行修剪，並對修剪後的業務模型在參數重置回初始化狀態的情形下進行訓練，以考驗修剪掉的模型參數是否自始不重要。對於得到的多個子模型，透過差分隱私的方式，從中選擇目標業務模型。這樣，可以獲取隱私保護的壓縮模型，在實現模型壓縮的基礎上，為模型提供隱私保護。

Description

基於隱私保護確定目標業務模型的方法及裝置
本說明書一個或多個實施例涉及電腦技術領域，尤其涉及透過電腦基於隱私保護確定目標業務模型的方法和裝置。
隨著機器學習技術的發展，深度類神經網路(Deep Neural Network，DNN)由於模仿人腦的思考方式，比簡單的線性模型有更好的效果，而受到本領域技術人員的青睞。深度類神經網路是一種具備至少一個隱藏層的類神經網路，能夠為複雜非線性系統建模，提高模型能力。
深度類神經網路由於複雜的網路結構，特徵和模型參數體系也非常大。例如，一個深度類神經網路可以包括高達數百萬個參數。因此，希望尋求模型壓縮的方法，減少模型的資料量和複雜度。為此，常規技術中通常利用訓練樣本調整深度類神經網路中的數百萬個參數，然後刪除或“修剪”不必要的權重，以將網路結構縮減到更易於管理的大小。減小模型尺寸有助於最大程度地減小其內部儲存器、推理和計算需求。在一些業務場景中，類神經網路中的許多權重有時可以被削減多達99%，從而產生更小、更 稀疏的網路。
然而，這種訓練完成之後又刪減的方式，需要較高的計算成本，進行了大量“無效”計算。於是設想在原始類神經網路的子網路中尋找一個盡可能滿足要求的網路進行訓練。同時，常規技術中，較簡單的類神經網路更易於獲取原始資料。為此，需要提供一種方法，即能夠保護資料的隱私，又可以壓縮模型的大小來實現實時計算和端上部署，從多方面提高模型的性能。
本說明書一個或多個實施例描述了一種基於隱私保護確定目標業務模型的方法及裝置，用以解決背景技術提到的一個或多個問題。
根據第一方面，提供了一種基於隱私保護確定目標業務模型的方法，所述目標業務模型用於處理給定的業務資料，得到相應的業務預測結果；所述方法包括：按照預定方式為選定的業務模型確定各個模型參數分別對應的初始值，從而初始化所述選定的業務模型；使用多個訓練樣本訓練經過初始化的所述選定的業務模型至模型參數收斂，得到初始業務模型；基於對所述初始業務模型的修剪，確定所述初始業務模型的多個子模型，其中，各個子模型各自對應有透過以下方式重新訓練確定的模型參數以及模型指標：將修剪後的業務模型的模型參數重置為初始化的業務模型中的相應模型參數的初始值；將多個訓練樣本依次 輸入修剪後的業務模型，並基於相應樣本標籤與修剪後的業務模型的輸出結果的對比，調整模型參數；基於各個子模型各自對應的模型指標，利用差分隱私的第一方式從各個子模型中選擇出目標業務模型。
在一個實施例中，所述基於對所述初始業務模型的修剪，確定所述初始業務模型的多個子模型包括：按照所述初始業務模型的模型參數，對所述初始業務模型進行修剪，得到第一修剪模型；將對應有經過重新訓練得到的模型參數的第一修剪模型，作為第一子模型；迭代修剪所述第一子模型得到後續子模型，直至滿足結束條件。
在一個實施例中，所述結束條件包括，迭代次數達到預定次數、子模型數量達到預定數量、最後一個子模型的規模小於設定的規模閾值中的至少一項。
在一個實施例中，對模型的修剪基於以下之一的方式，按照模型參數由小到大的順序進行：修剪掉預定比例的模型參數、修剪掉預定數量的模型參數、修剪得到規模不超過預定大小的模型。
在一個實施例中，所述差分隱私的第一方式為指數機制，所述基於各個子模型各自對應的模型指標，利用差分隱私的第一方式從各個子模型中選擇出目標業務模型包括：按照各個子模型各自對應的模型指標，確定各個子模型分別對應的各個可用性係數；根據各個可用性係數，利用指數機制確定各個子模型分別對應的各個採樣機率；按照各個採樣機率在所述多個子模型中採樣，將被採樣到的 子模型作為目標業務模型。
在一個實施例中，所述方法還包括：利用多個訓練樣本對所述目標業務模型基於差分隱私的第二方式進行訓練，使得訓練後的目標業務模型用於針對給定的業務資料進行保護資料隱私的業務預測。
在一個實施例中，所述多個訓練樣本包括第一批樣本，所述第一批樣本中的樣本i對應有經所述目標業務模型處理後得到的損失，所述利用多個訓練樣本對所述目標業務模型基於差分隱私的第二方式進行訓練包括：確定所述樣本i對應的損失的原始梯度；利用所述差分隱私的第二方式在所述原始梯度上添加雜訊，得到包含雜訊的梯度；利用所述包含雜訊的梯度，以最小化所述樣本i對應的損失為目標，調整所述目標業務模型的模型參數。
在一個實施例中，所述差分隱私的第二方式為添加高斯雜訊，所述利用所述差分隱私的第二方式在所述原始梯度上添加雜訊，得到包含雜訊的梯度包括：基於預設的裁剪閾值，對所述原始梯度進行裁剪，得到裁剪梯度；利用基於所述裁剪閾值確定的高斯分佈，確定用於實現差分隱私的高斯雜訊，其中，所述高斯分佈的變異數與所述裁剪閾值的平方正相關；將所述高斯雜訊與所述裁剪梯度疊加，得到所述包含雜訊的梯度。
在一個實施例中，所述業務資料包括圖片、音檔、字符中的至少一項。
根據第二方面，提供了一種基於隱私保護確定目標業 務模型的裝置，所述目標業務模型用於處理給定的業務資料，得到相應的業務預測結果；所述裝置包括：初始化單元，配置為按照預定方式為選定的業務模型確定各個模型參數分別對應的初始值，從而初始化所述選定的業務模型；初始訓練單元，配置為使用多個訓練樣本訓練經過初始化的所述選定的業務模型至模型參數收斂，得到初始業務模型；修剪單元，配置為基於對所述初始業務模型的修剪，確定所述初始業務模型的多個子模型，其中，各個子模型各自對應有透過所述初始化單元以下和所述初始訓練單元重新訓練確定的模型參數以及模型指標：所述初始化單元將修剪後的業務模型的模型參數重置為初始化的業務模型中的相應模型參數的初始值；所述初始訓練單元將多個訓練樣本依次輸入修剪後的業務模型，並基於相應樣本標籤與修剪後的業務模型的輸出結果的對比，調整模型參數；確定單元，配置為基於各個子模型各自對應的模型指標，利用差分隱私的第一方式從各個子模型中選擇出目標業務模型。
根據第三方面，提供了一種電腦可讀儲存媒體，其上儲存有電腦程式，當所述電腦程式在電腦中執行時，令電腦執行第一方面的方法。
根據第四方面，提供了一種計算設備，包括儲存器和處理器，其特徵在於，所述儲存器中儲存有可執行碼，所 述處理器執行所述可執行碼時，實現第一方面的方法。
透過本說明書實施例提供的方法和裝置，先對選定的複雜業務模型進行初始訓練，得到初始業務模型，然後對初始業務模型進行修剪，並對修剪後的業務模型在參數重置回初始化狀態的情形下進行訓練，以考驗修剪掉的模型參數是否自始不重要。對於得到的多個子模型，透過差分隱私的方式，從中選擇目標業務模型。這樣，可以獲取隱私保護的壓縮模型，在實現模型壓縮的基礎上，為模型提供隱私保護。
301~305:步驟
X1:神經元
500:裝置
51:初始化單元
52:初始訓練單元
53:修剪單元
54:確定單元
55:隱私訓練單元
為了更清楚地說明本發明實施例的技術方案，下面將對實施例描述中所需要使用的圖式作簡單地介紹，顯而易見地，下面描述中的圖式僅僅是本發明的一些實施例，對於本領域具有通常知識者來講，在不付出創造性勞動的前提下，還可以根據這些圖式獲得其它的圖式。
[圖1]示出本說明書技術構思中基於隱私保護確定目標業務模型的實施架構示意圖；[圖2]示出一個具體例子中基於對初始類神經網路的修剪確定多個子網路的流程；[圖3]示出根據一個實施例的基於隱私保護確定目標業務模型的方法流程圖；[圖4]示出一個具體例子的對類神經網路修剪的示意圖； [圖5]示出根據一個實施例的基於隱私保護確定目標業務模型的裝置的示意性方塊圖。
下面結合圖式，對本說明書提供的方案進行描述。
圖1示出了根據本說明書技術構思的一個實施架構示意圖。本說明書的技術構思下，業務模型可以是用於對業務資料進行諸如分類、評分等各種業務處理的機器學習模型。圖1示出的業務模型透過類神經網路實現，實踐中，還可以透過其他方式實現，例如決策樹、線性回歸等等。業務資料可以是字符、音檔、圖像、動畫等多種方式中的至少一種，根據具體的業務場景確定，在此不作限定。
例如，業務模型可以是用於借貸平臺輔助評估用戶借貸業務風險度的機器學習模型，針對的業務資料可以是單個用戶的歷史借貸行為資料、違約資料、用戶畫像等等，業務預測結果為用戶的風險分數。再例如，業務模型也可以是用於對圖片上的目標進行分類的模型(如卷積類神經網路)，針對的業務資料可以是各種圖片，業務預測結果例如可以是第一目標(如小汽車)、第二目標(自行車)、其他類別等。
特別地，本說明書實施架構尤其適用於業務模型是較複雜的非線性模型的情況。基於隱私保護確定目標業務模型的過程可以是從複雜的初始業務模型中確定出模型指標符合要求的精簡子模型的過程。
以業務模型為類神經網路為例，如圖1所示，初始類神經網路可以是較複雜的類神經網路，該類神經網路中可以包括較多的特徵、權重參數、其他參數(如常數參數、輔助矩陣)等。初始類神經網路的模型參數可以透過預定方式初始化，例如隨機初始化、設定為預定值等。在該實施架構下，首先經過多個訓練樣本對初始類神經網路進行訓練，至初始類神經網路的模型參數(或者損失函數)收斂。之後，對初始類神經網路進行修剪，得到多個子網路。在對類神經網路修剪過程中，可以按照預定參數比例(如20%)、預定參數數量(如1000個)、預定規模(如至少20兆位元組)等等方式進行。
常規技術中，對初始類神經網路的修剪得到的子網路通常採用繼續訓練、在其基礎上再次修剪、繼續訓練這樣的方式進行。也就是說，是對初始類神經網路一步步壓縮的過程。而在本說明書實施例的構思下，在對初始類神經網路進行修剪之後，將修剪得到的子網路進行參數重置(恢復初始化狀態)，並對重置參數後的修剪網路進行訓練。這樣做的目的是可以檢驗被修剪掉的類神經網路結構是否自始不需要。這種是否自始不需要的結論可以透過模型的評價指標，例如準確度、召回率、收斂性等進行展現。
值得說明的是，類神經網路的修剪可以包括去除類神經網路中的一部分神經元以及/或者去除神經元中的一部分連接關係的過程。在可選的實現方式中，捨棄哪些神經 元，可以以神經元對應的權重參數作為參考。權重參數描述出神經元的重要度，以全連接類神經網路為例，可以將一個神經元到對映到下一層的各個神經元分別對應的各個權重求平均，或者取最大值，得到參考權重。進一步按照各個神經元的參考權重由小到大的順序進行捨棄(修剪)。
如圖2所示，給出了本說明書實施架構下一個具體例子的子網路修剪流程。在圖2中，對於修剪之後的剩餘部分的類神經網路，將模型參數重置到初始化狀態，利用訓練樣本對其重新訓練，得到第一子網路。同時，可以將第一子網路的網路結構、評價指標等記錄下來。然後，如左側箭頭所示，進入修剪模型的步驟開始循環。按照訓練好的第一子網路中的模型參數，對第一子網路進行修剪，並針對修剪後的類神經網路，將其模型參數重置到初始化狀態，利用訓練樣本對其重新訓練，作為第二子網路。繼續沿左側箭頭循環，以此類推，直至得到滿足結束條件的第N子網路。其中，這裡的結束條件例如可以是，迭代次數達到預定次數(如預設次數N)、子模型數量達到預定數量(如預設數量N)、最後一個子模型的規模小於設定的規模閾值(如100兆位元組等)等等中的至少一項。
如此，可以得到初始類神經網路的多個子網路。在一些可選的實施方式中，圖2左側的箭頭可以回到最上端，也就是得到第一子網路後，重新初始化最初的類神經網路，訓練該重新初始化的類神經網路，並進行修剪，對修剪後的子網路進行訓練，作為第二子網路，以此類推，直 至得到第N子網路。其中，各個子網路可以具有不同的規模，例如第一子網路為初始類神經網路的80%，第二子網路為初始類神經網路的60%，等等。在這種方式下，每次初始化類神經網路時，還可以進行一些隨機化，也就是說每次在特徵或者神經元上進行隨機採樣，捨棄一小部分(如1%)特徵及初始化參數，以對初始的類神經網路造成小的擾動，在保證每次的初始化類神經網路都和最初的類神經網路一致的情況下，具有小差別，以考驗不同的神經元作用。
繼續參考圖1所示。針對各個子網路，可以從中選擇出一個子網路作為目標類神經網路。根據一個實施例，為了保護資料隱私，可以將修剪得到的各個子網路看作初始類神經網路的子網路集，基於差分隱私原理，隨機選擇出一個子網路作為目標類神經網路。這樣透過差分隱私的方式，基於隱私保護確定目標業務模型，可以更好地保護業務模型和/或業務資料隱私，提高目標類神經網路的實用性。
可以理解的是，圖1示出的實施架構以業務模型是類神經網路為例，當業務模型是其他機器學習模型時，以上描述中的神經元也可以換做其他模型元素，例如業務模型是決策樹時，神經元可以換成決策樹中的樹節點，等等。
目標類神經網路用於針對業務資料進行業務預測，得到相應的業務預測結果。例如，根據圖片資料，得到識別到的目標類別的業務預測結果，根據用戶行為資料，得到 用戶的金融借貸風險性的業務預測結果，等等。
下面詳細描述基於隱私保護確定目標業務模型的具體流程。
圖3示出一個實施例的基於隱私保護確定目標業務模型的流程。其中，這裡的業務模型可以是用於針對給定的業務資料，進行諸如分類、評分等業務處理的模型。這裡的業務資料可以是文字、圖像、語音、影片、動畫等各種類型的資料。該流程的執行主體可以是具有一定計算能力的系統、設備、裝置、平臺或伺服器。
如圖3所示，基於隱私保護確定目標業務模型的方法可以包括以下步驟：步驟301，按照預定方式為選定的業務模型確定各個模型參數分別對應的初始值，從而初始化選定的業務模型；步驟302，使用多個訓練樣本訓練經過初始化的業務模型至模型參數收斂，得到初始業務模型；步驟303，基於對初始業務模型的修剪，確定初始業務模型的多個子模型，其中，各個子模型各自對應有透過以下方式重新訓練確定的模型參數以及模型指標：將修剪後的業務模型的模型參數重置為初始化的業務模型中的相應模型參數的初始值；將多個訓練樣本依次輸入修剪後的業務模型，並基於相應樣本標籤與修剪後的業務模型的輸出結果的對比，調整模型參數；步驟304，基於各個子模型各自對應的模型指標，利用差分隱私的第一方式從各個子模型中選擇出目標業務模型。
首先，在步驟301，按照預定方式為選定的業務模型 確定各個模型參數分別對應的初始值，從而初始化選定的業務模型。
可以理解，對於選定的業務模型，為了能夠訓練模型，首先需要對模型參數進行初始化。也就是為各個模型參數確定初始值。在選定的業務模型是類神經網路時，模型參數例如可以是各個神經元的權重、常數參數、輔助矩陣等等中的至少一項。在選定的業務模型是決策樹時，模型參數例如是各個節點的權重參數、節點之間的連接關係及連接權重等等。在選定的業務模型是其他形式的機器學習模型時，模型參數還可以是其他參數，在此不再一一例舉。
這些模型參數的初始值可以按照預定方式確定，例如完全隨機取值、在預設區間內隨機取值、賦予設定值等等。有了這些初始值，當接收到業務資料，或者根據業務資料提取的相關特徵時，業務模型就可以給出相應業務預測結果，例如分類結果、評分結果等等。
接著，在步驟302中，使用多個訓練樣本訓練經過初始化的業務模型至模型參數收斂，得到初始業務模型。
由於經過步驟301的模型參數初始化之後，一旦接收到業務資料，選定的業務模型可以按照相應邏輯運行，給出相應的業務預測結果，如此就可以利用訓練樣本對初始化的業務模型進行訓練。各個訓練樣本可以對應有樣本業務資料，以及對應的樣本標籤。對初始化的業務模型的訓練過程例如可以是：依次將各條樣本業務資料輸入經過初 始化的業務模型，根據業務模型輸出的業務預測結果與相應業務標籤的對比，調整模型參數。
經過一定數量的訓練樣本的調整之後，業務模型的每個模型參數變化將越來越小，直至趨近於某個值。也就是模型參數收斂。模型參數收斂可以透過各個模型參數的波動值來描述，也可以透過損失函數來描述。這是因為，損失函數通常是模型參數的函數，當損失函數收斂時，代表著模型參數收斂。例如當損失函數的最大變化值或者模型參數的波動小於預定閾值時，可以確定模型參數收斂。選定的業務模型完成當前階段訓練，得到的業務模型可以稱為初始業務模型。
這裡的初始業務模型訓練過程可以採用任何合適的方式進行，在此不再贅述。
然後，在步驟303，基於對初始業務模型的修剪，確定初始業務模型的多個子模型。可以理解，為了從初始業務模型中獲取可以代替初始業務模型的子模型，可以按照業務需求對初始業務模型進行修剪，從而得到多個初始模型的子模型。這些子模型又可以稱為候選模型。
值得說明的是，對初始業務模型的修剪可以是在初始業務模型的基礎上多次進行修剪，也可以是在修剪後的子模型基礎上疊加修剪，如前文對圖2示出的示例部分的描述，在此不再贅述。
對模型的修剪基於以下之一的方式，按照模型參數由小到大的順序進行：修剪掉預定比例(如20%)的模型參 數、修剪掉預定數量(如1000個)的模型參數、修剪得到規模不超過預定大小(如1000兆位元組)的模型，等等。
可以理解，通常有至少一部分的模型參數，可以在一定程度上展現模型單元(如神經元、樹節點等)的重要程度，例如權重參數。在對業務模型進行修剪時，為了減少參數數量，可以修剪模型單元，也可以修剪模型單元之間的連接關係。下面參考圖4所示，以業務模型為類神經網路，模型單元為神經元為例進行時說明。
一種實施例可以透過減少預定數量或預定比例的模型單元來實現對模型的修剪。例如，在類神經網路的每個隱藏層修剪掉100個或10%的神經元。參考圖4所示，由於神經元的重要度需要透過不同隱藏層的神經元之間的表達關係(圖4中的連接線)對應的權重來描述，因此，可以利用權重參數的值來決定刪除哪些神經元。圖4示出的是一個類神經網路中的部分隱藏層的示意。圖4中，在第i隱藏層，假設虛線表示的神經元對應的與前一層神經元或向後一隱藏層神經元連接的連接線對應的權重參數都很小，那麼這個神經元的重要度比較小，可以被修剪掉。
另一種實施例可以透過減少預定數量或預定比例的連接邊來實現對模型的修剪。仍參考圖4所示，對於類神經網路中的各個連接邊(如神經元X1和第i隱藏層的虛線表示的神經元之間的連接邊)，如果其對應的權重參數較小，則表明前一個神經元對應後一個神經元的重要度較低，可以將相應連接邊刪除。這樣的網路結構不再是原始的全連 接結構，而是前一隱藏層的各個神經元只對後一隱藏層相對重要的神經元起作用，後一隱藏層的各個神經元只關注對其重要性較高的前一隱藏層的神經元。這樣，業務模型的規模也會變小。
在其他實施例中，還可以採用同時減少連接邊和模型單元的方式實現模型的修剪，在此不再贅述。修剪模型單元、修剪連接關係都是模型修剪的具體手段，本說明書對具體手段不做限定。透過這樣的修剪手段，可以實現修剪掉預定比例的模型參數、修剪掉預定數量的模型參數、修剪得到規模不超過預定大小的模型等等。
其中，具體修剪掉業務模型的多大一部分，可以根據預定的修剪規則或子模型的規模需求來確定。修剪規則例如可以為：子模型的規模為預定位元組數(如1000兆位元組)、子模型的規模為初始業務模型的預定比例(如70%)、修剪後的子模型規模與修剪前的模型規模成預定比例(如90%)、修剪掉權重小於預定權重閾值的連接邊等等。總之，修剪後的模型可以放棄重要度低的模型單元或者連接邊，保留重要度高的模型單元及連接邊。
在獲取子模型的過程中，一方面，剪切掉一部分後的初始業務模型的參數需要進一步調整，因此，需要對剪切後的模型進一步訓練。另一方面，需要驗證初始業務模型裁剪掉的部分是否自始不需要，因此，可以將修剪後的模型中的模型參數重置為初始化狀態，並利用多個訓練樣本進行訓練。訓練後的模型記為初始業務模型的子模型。
可以理解的是，由於初始業務模型在被訓練至收斂時停止，這樣，在修剪掉其中一部分時，可能誤刪重要的模型單元，造成模型性能下降等問題。因此，在訓練修剪後的模型時，得到的子模型性能是不確定的。例如，修剪掉一部分後的業務模型，如果誤刪了重要模型單元，可能會導致模型參數(或損失函數)不會收斂、收斂速度降低，或者模型準確度降低等。因此，還可以記錄各個子模型在訓練後相應的性能指標，例如準確度、模型大小、收斂性等等。
在本步驟303中，假設可以得到N個子模型。其中，N是一個正整數，其可以是預設的迭代次數(預定次數)、預設的子模型數量(預定數量)，也可以是按照設定的修剪條件達到的數量。例如，在修剪後的子模型基礎上疊加修剪的情況下，越後得到的子模型規模越小，修剪條件可以為最後得到的子模型規模小於預定的規模閾值(如100兆位元組)。此時，可以在子模型規模小於預定規模時，結束修剪，得到的子模型數量N為實際得到的子模型數量。
接著，透過步驟304，基於各個子模型各自對應的模型指標，利用差分隱私的第一方式從各個子模型中選擇出目標業務模型。
差分隱私(differential privacy)是密碼學中的一種手段，旨在提供一種當從統計資料庫查詢時，最大化資料查詢的準確性，同時最大限度減少識別其記錄的機會。設有隨機演算法M，PM為M所有可能的輸出構成的集合。對於 任意兩個鄰近資料集D和D’以及PM的任何子集SM，若隨機演算法M滿足：Pr[M(D)
Figure 110110604-A0305-02-0019-13
SM]<=eε×Pr[M(D’)
Figure 110110604-A0305-02-0019-14
SM]，則稱演算法M提供ε-差分隱私保護，其中參數ε稱為隱私保護預算，用於平衡隱私保護程度和準確度。ε通常可以預先設定。ε越接近0，eε越接近1，隨機演算法對兩個鄰近資料集D和D’的處理結果越接近，隱私保護程度越強。
在該步驟304中，相當於在壓縮率和模型指標之間進行平衡。差分隱私的經典實現例如拉普拉斯機制、指數機制等。通常。拉普拉斯機制可以用於為數值添加雜訊擾動，而對於數值擾動沒有意義的情況，更適合採用指數機制。這裡，從多個子模型中選擇出一個子模型作為目標業務模型，由於是對子模型的選擇，而非對子模型內部結構等進行處理，可以看作是對於數值擾動沒有意義的情況，可以優選採用指數機制進行。
下面作為一個具體示例，詳細介紹在差分隱私的第一方式為指數機制的情況下，如何利用差分隱私的第一方式從子模型中選擇出目標業務模型的過程。
步驟303中確定的N個子模型可以看作N個實體物件，每個實體物件對應一個數值ri，其中i的取值範圍例如可以是1至N，各個數值ri構成查詢函數的輸出值域R。這裡旨在從值域R中選擇一個ri，將其對應的實體物件，即子模型作為目標業務模型。假設用D表示給定資料集(這裡可以理解為訓練樣本集)，在指數機制下，函數q(D，ri)稱為輸出值ri的可用性函數。
結合各個子模型，其可用性與模型指標密切相關。例如在模型指標包括相較於初始業務模型的壓縮率、在測試樣本集上的準確度的情況下，由於壓縮率越大子模型的規模越小，準確度越高表明子模型越理想，因此，在一個具體例子中，可用性函數可以與相應子模型i的壓縮率si、準確度zi正相關。這裡，可以將各個子模型分別對應的可用性函數的函數值記為相應子模型的可用性係數，例如：q(D,ri)=si×zi
在其他具體例子中，模型指標可能包括召回率、F1分數等等，可用性函數也可以根據實際的模型指標具有其他合理表達，在此不再贅述。
在指數機制ε-差分隱私中，對於給定的隱私代價ε(預設的值，例如0.1)，給定資料集D及可用性函數q(D，r)，隱私保護機制A(D，q)在當且僅當下述表達式成立時，滿足ε-差分隱私：A(D,q)
Figure 110110604-A0305-02-0020-10
e
Figure 110110604-A0305-02-0020-1
其中，
Figure 110110604-A0305-02-0020-11
表示正比於。△q可以為敏感因子，用於表示單一資料(上面的示例中的單個訓練樣本)的改變導致的可用性函數的最大改變值。這裡，由於準確度和壓縮率都在0到1之間取值，因此，單一資料改變時，q的最大改變為1，也就是說△q取1。在其他實施例中，q的表達方式不同，△q可以根據其他方式來確定，在此不作限定。
在一個具體例子中，隱私保護機制A可以為按照採樣 機率進行採樣的機制，子模型i對應的採樣機率可以記為A(D，q i )。例如，第i個子模型的採樣機率可以為：
Figure 110110604-A0305-02-0021-2
其中，j表示任一個子模型。這樣，在對各個子模型進行採樣的採樣機率中引入差分隱私的指數機制，按照各個子模型對應的被採樣到的採樣機率，可以在值域R中採樣(即在各個子模型中採樣)。
採樣時，根據一個具體例子，可以將0-1之間的數劃分為與值域R中的數值個數(子模型數量)一致的子區間，每個子區間的長度與上述採樣機率對應。當使用預先選定的隨機演算法生成0-1之間的一個隨機數時，將隨機數所在區間對應的值域R中的某個數值(對應一個子模型)作為採樣到的目標值。該目標值對應的子模型可以作為目標業務模型。根據另一個具體例子，值域R為連續數值區間，可以按照採樣機率劃分為長度與相應子模型的採樣機率正相關的子區間，則直接在至於R上隨機取值，所取值落入的區間對應的子模型就可以作為目標業務模型。
可以理解的是，這裡透過差分隱私中的指數機制，按照採樣機率完成對子模型的採樣，對從子模型中選擇目標業務模型增加了隨機性。由此，難以根據初始業務模型推測出子模型的具體結構，使得目標業務模型難以推測實現對目標業務模型和業務資料的隱私保護。
可以理解，在確定目標業務模型的過程中，各個子模型經過初步的訓練，以從中挑選指出合適的子模型，作為最終的子模型，來避免對龐大的初始業務模型進行完全訓練之後大量刪除模型參數導致的大量計算。因此，所選擇的目標業務模型可以進一步訓練，以更好地用於針對給定的業務資料，進行業務預測，得到業務預測結果(例如評分結果、分類結果等)。
對目標業務模型的一個訓練過程例如為：將各個訓練樣本輸入選擇出的目標業務模型，並根據輸出結果和樣本標籤的對比，調整模型參數。
通常，輸出結果和樣本標籤的對比，在輸出結果為數值的情況下，可以透過諸如差值、差值的絕對值之類方式衡量損失，在輸出結果為向量或多個數值的情況下，可以透過諸如變異數、歐氏距離之類的方式衡量損失。在得到損失之後，可以以最小化損失為目標調整模型參數。該過程中還可以採用一些最佳化演算法，以加快模型參數(或損失函數)的收斂速度。例如採用梯度下降法等最佳化演算法。
根據一個可能的設計，為了進一步保護資料隱私，還可以透過在損失梯度中添加干擾雜訊的方式，引入差分隱私的方法，調整模型參數，以基於隱私保護訓練目標業務模型。此時，圖3示出的流程還可以包括以下步驟：
步驟305，利用多個訓練樣本對目標業務模型基於差分隱私的第二方式進行訓練，使得訓練後的目標業務模型 用於針對給定的業務資料進行業務預測。差分隱私的實現方式有很多，這裡引入差分隱私的目的在於為資料添加雜訊，例如可以透過高斯雜訊、拉普拉斯雜訊等方式實現，在此不做限定。
在一個實施方式中，針對輸入目標業務模型的第一批樣本，可以透過以下步驟調整模型參數：首先，確定第一批樣本所對應的損失的原始梯度；接著向該原始梯度添加用於實現差分隱私的雜訊，得到包含雜訊的梯度；然後，利用包含雜訊的梯度，調整目標業務模型的模型參數。可以理解，這裡的第一批樣本可以是一個訓練樣本，也可以是多個訓練樣本。在第一批樣本包含多個訓練樣本的情況下，第一批樣本對應的損失可以是多個訓練樣本對應的損失和、平均損失等。
作為一個示例，假設針對上述第一批樣本，得到的第一原始梯度為：
Figure 110110604-A0305-02-0023-16
其中，t表示當前為第t輪次的迭代訓練，x i 表示第一批樣本中的第i個樣本，g t (x i )表示第t輪中第i個樣本的損失梯度，θ t 表示第t輪訓練開始時的模型參數，L(θ t ,x i )表示第i個樣本對應的損失函數。
如前所述，對上述原始梯度添加實現差分隱私的雜訊，可以透過諸如拉普拉斯雜訊、高斯雜訊等方式實現。
在一個實施例中，以差分隱私的第二方式為高斯雜訊 為例，可以基於預設的裁剪閾值，對原始梯度進行梯度裁剪，得到裁剪梯度，再基於該裁剪閾值和預定的雜訊縮放係數(預先設定的超參)，確定用於實現差分隱私的高斯雜訊，然後將裁剪梯度與高斯雜訊融合(例如求和)，得到包含雜訊的梯度。可以理解的是，該第二方式一方面對原始梯度進行裁剪，另一方面將裁剪後的梯度疊加，從而對損失梯度進行滿足高斯雜訊的差分隱私處理。
例如，將原始梯度進行梯度裁剪為：
Figure 110110604-A0305-02-0024-3
其中，
Figure 110110604-A0305-02-0024-4
(x i )表示對第t輪中第i個樣本裁剪後的梯度，C表示裁剪閾值，∥g(x i )∥2表示g t (x i )的二階範數。也就是說，在梯度小於或等於裁剪閾值C的情況下，保留原始梯度，而梯度大於裁剪閾值C的情況下，將原始梯度按照大於裁剪閾值C的比例裁剪到相應大小。
為裁剪後的梯度添加高斯雜訊，得到包含雜訊的梯度，例如為：
Figure 110110604-A0305-02-0024-5
其中，N表示第一批樣本所包含的樣本數量，
Figure 110110604-A0305-02-0024-6
表示第t輪中N個樣本對應的包含雜訊的梯度；N(0,σ 2C2 I)表示機率密度符合以0為均值、σ 2C2 I為變異數的高斯分佈的高斯雜訊；σ表示上述雜訊縮放係數，為預先設定的超參，可以按需設定；C為上述裁剪閾值；I表示指示函數，可以取 0或1，比如，可以設定在多輪訓練中的偶數輪次取1，而奇數輪次取0。上式中，第一批樣本包含多個訓練樣本時，包含雜訊的梯度為對這多個訓練樣本的原始梯度裁剪後的平均裁剪梯度上疊加高斯雜訊。當第一批樣本僅包含一個訓練樣本時，上式中包含雜訊的梯度為對該訓練樣本的原始梯度裁剪後疊加高斯雜訊。
於是，使用添加高斯雜訊後的梯度，仍以最小化所述樣本i對應的損失為目標，模型參數可以按照以下方式調整為：
Figure 110110604-A0305-02-0025-7
其中，η t 表示第t輪的學習步長，或者說學習率，為預先設定的超參數，例如為0.5、0.3等；θ t+1表示經過第t輪(包含第一批樣本)訓練得到的調整後模型參數。在梯度添加高斯雜訊滿足差分隱私的情況下，模型參數的調整滿足差分隱私。
據此，經過多輪迭代訓練後，可以得到基於差分隱私的目標業務模型。由於模型訓練過程中加入了高斯雜訊，因此，難以從目標業務模型所呈現出來的資料推測模型結構或者反推業務資料，如此，可以進一步提高隱私資料保護的有效性。
訓練後的目標業務模型可以用於，針對給定的業務資料，進行相應業務預測。這裡的業務資料是和訓練樣本類型一致的業務資料，例如用戶的金融相關資料，可以透過目標業務模型進行用戶借貸風險性預測
回顧以上過程，本說明書實施例提供的基於隱私保護確定目標業務模型的方法，先對選定的複雜業務模型進行初始訓練，得到初始業務模型，然後對初始業務模型進行修剪，並對修剪後的業務模型在參數重置回初始化狀態的情形下進行訓練，以考驗修剪掉的模型參數是否自始不重要。對於得到的多個子模型，透過差分隱私的方式，從中選擇目標業務模型。這樣，可以獲取隱私保護的壓縮模型，在實現模型壓縮的基礎上，為模型提供隱私保護。
根據另一方面的實施例，還提供一種基於隱私保護確定目標業務模型的裝置。其中，這裡的業務模型可以是用於針對給定的業務資料，進行諸如分類、評分等業務處理的模型。這裡的業務資料可以是文字、圖像、語音、影片、動畫等各種類型的資料。該裝置可以設置於具有一定計算能力的系統、設備、裝置、平臺或伺服器。
圖5示出根據一個實施例的基於隱私保護確定目標業務模型的裝置的示意性方塊圖。如圖5所示，裝置500包括：初始化單元51，配置為按照預定方式為選定的業務模型確定各個模型參數分別對應的初始值，從而初始化選定的業務模型；初始訓練單元52，配置為使用多個訓練樣本訓練經過初始化的選定的業務模型至模型參數收斂，得到初始業務模型；修剪單元53，配置為基於對初始業務模型的修剪，確 定初始業務模型的多個子模型，其中，各個子模型各自對應有透過初始化單元51和初始訓練單元52重新訓練確定的模型參數以及模型指標：初始化單元51將修剪後的業務模型的模型參數重置為初始化的業務模型中的相應模型參數的初始值；初始訓練單元52將多個訓練樣本依次輸入修剪後的業務模型，並基於相應樣本標籤與修剪後的業務模型的輸出結果的對比，調整模型參數；確定單元54，配置為基於各個子模型各自對應的模型指標，利用差分隱私的第一方式從各個子模型中選擇出目標業務模型。
根據一個實施方式，修剪單元53進一步可以配置為：按照初始業務模型的模型參數，對初始業務模型進行修剪，得到第一修剪模型；將對應有經過重新訓練得到的模型參數的第一修剪模型，作為第一子模型；迭代修剪第一子模型得到後續子模型，直至滿足結束條件。
在一個實施例中，上述結束條件可以包括，迭代次數達到預定次數、子模型數量達到預定數量、最後一個子模型的規模小於設定的規模閾值等等中的至少一項。
在一個可選的實現方式中，修剪單元53對模型的修剪基於以下之一的方式，按照模型參數由小到大的順序進行：修剪掉預定比例的模型參數、修剪掉預定數量的模型參數、修剪得到規模不超過預定大小的模型，等等。
根據一個可能的設計，差分隱私的第一方式為指數機制，確定單元54進一步可以配置為：按照各個子模型各自對應的模型指標，確定各個子模型分別對應的各個可用性係數；根據各個可用性係數，利用指數機制確定各個子模型分別對應的各個採樣機率；按照各個採樣機率在多個子模型中採樣，將被採樣到的子模型作為目標業務模型。
在一個實施方式中，裝置500還可以包括隱私訓練單元55，配置為：利用多個訓練樣本對目標業務模型基於差分隱私的第二方式進行訓練，使得訓練後的目標業務模型用於針對給定的業務資料進行保護資料隱私的業務預測。
在一個進一步的實施例中，多個訓練樣本包括第一批樣本，第一批樣本中的樣本i對應有經目標業務模型處理後得到的損失，隱私訓練單元55進一步配置為：確定樣本i對應的損失的原始梯度；利用差分隱私的第二方式在原始梯度上添加雜訊，得到包含雜訊的梯度；利用包含雜訊的梯度，以最小化樣本i對應的損失為目標，調整目標業務模型的模型參數。
在一個更進一步的實施例中，差分隱私的第二方式為添加高斯雜訊，隱私訓練單元55還可以配置為：基於預設的裁剪閾值，對原始梯度進行裁剪，得到裁 剪梯度；利用基於裁剪閾值確定的高斯分佈，確定用於實現差分隱私的高斯雜訊，其中，高斯分佈的變異數與裁剪閾值的平方正相關；將高斯雜訊與裁剪梯度疊加，得到包含雜訊的梯度。
值得說明的是，圖5所示的裝置500是與圖3示出的方法實施例相對應的裝置實施例，圖3示出的方法實施例中的相應描述同樣適用於裝置500，在此不再贅述。
根據另一方面的實施例，還提供一種電腦可讀儲存媒體，其上儲存有電腦程式，當所述電腦程式在電腦中執行時，令電腦執行結合圖3所描述的方法。
根據再一方面的實施例，還提供一種計算設備，包括儲存器和處理器，所述儲存器中儲存有可執行碼，所述處理器執行所述可執行碼時，實現結合圖3所述的方法。
本領域技術人員應該可以意識到，在上述一個或多個示例中，本說明書實施例所描述的功能可以用硬體、軟體、韌體或它們的任意組合來實現。當使用軟體實現時，可以將這些功能儲存在電腦可讀媒體中或者作為電腦可讀媒體上的一個或多個指令或代碼進行傳輸。
以上所述的具體實施方式，對本說明書的技術構思的目的、技術方案和有益效果進行了進一步詳細說明，所應理解的是，以上所述僅為本說明書的技術構思的具體實施方式而已，並不用於限定本說明書的技術構思的保護範圍，凡在本說明書實施例的技術方案的基礎之上，所做的 任何修改、等同替換、改進等，均應包括在本說明書的技術構思的保護範圍之內。

Claims (17)

  1. 一種基於隱私保護確定目標業務模型的方法，該目標業務模型用於處理給定的業務資料，得到相應的業務預測結果；該方法包括：按照預定方式為選定的業務模型確定多個模型參數各自對應的初始值，從而初始化該選定的業務模型；使用多個訓練樣本訓練經過初始化的該選定的業務模型至該多個模型參數收斂，得到初始業務模型；基於對該初始業務模型的修剪，確定該初始業務模型的多個子模型並得到修剪後的業務模型，其中，該多個子模型各自對應有透過以下方式重新訓練確定的該多個模型參數以及模型指標：將該修剪後的業務模型的該多個模型參數重置為該初始業務模型中的相應的該多個模型參數的初始值；將該多個訓練樣本依次輸入該修剪後的業務模型，並基於相應樣本標籤與該修剪後的業務模型的輸出結果的對比，調整該多個模型參數；基於該多個子模型各自對應的該模型指標，利用差分隱私的第一方式從該多個子模型中選擇出該目標業務模型，其中，在該差分隱私的第一方式為指數機制的情況下：按照該多個子模型各自對應的該模型指標，確定該多個子模型分別對應的各個可用性係數；根據該各個可用性係數，利用指數機制確定該多個子模型分別對應的各個採樣機率；按照該各個採樣機率在該多個子模型中採樣，並從該多個子模型中選擇出一個子模型作為該目標業務模 型。
  2. 根據請求項1所述的方法，其中，該基於對該初始業務模型的修剪，確定該初始業務模型的該多個子模型包括：按照該初始業務模型的該多個模型參數，對該初始業務模型進行修剪，得到第一修剪模型；將對應有經過重新訓練得到的該多個模型參數的第一修剪模型，作為第一子模型；迭代修剪該第一子模型得到後續子模型，直至滿足結束條件。
  3. 根據請求項2所述的方法，該結束條件包括，迭代次數達到預定次數、迭代修剪該第一子模型得到的該後續子模型的數量達到預定數量、迭代修剪該第一子模型得到的該後續子模型的最後一個的規模小於設定的規模閾值中的至少一項。
  4. 根據請求項1或2所述的方法，其中，對模型的修剪基於以下之一的方式，按照該多個模型參數由小到大的順序進行：修剪掉該多個模型參數中預定比例的模型參數、修剪掉該多個模型參數中預定數量的模型參數、修剪得到規模不超過預定大小的模型。
  5. 根據請求項1所述的方法，其中，該方法還包括：利用該多個訓練樣本對該目標業務模型基於差分隱私的第二方式進行訓練，使得訓練後的該目標業務模型用於 針對給定的業務資料進行保護資料隱私的業務預測。
  6. 根據請求項5所述的方法，其中，該多個訓練樣本包括第一批樣本，該第一批樣本中的樣本i對應有經該目標業務模型處理後得到的損失，該利用該多個訓練樣本對該目標業務模型基於差分隱私的第二方式進行訓練包括：確定該樣本i對應的損失的原始梯度；利用該差分隱私的第二方式在該原始梯度上添加雜訊，得到包含雜訊的梯度；利用該包含雜訊的梯度，以最小化該樣本i對應的損失為目標，調整該目標業務模型的該多個模型參數。
  7. 根據請求項6所述的方法，其中，該差分隱私的第二方式為添加高斯雜訊，該利用該差分隱私的第二方式在該原始梯度上添加雜訊，得到包含雜訊的梯度包括：基於預設的裁剪閾值，對該原始梯度進行裁剪，得到裁剪梯度；利用基於該裁剪閾值確定的高斯分佈，確定用於實現差分隱私的高斯雜訊，其中，該高斯分佈的變異數與該裁剪閾值的平方正相關；將該高斯雜訊與該裁剪梯度疊加，得到該包含雜訊的梯度。
  8. 根據請求項1所述的方法，其中，該業務資料包括圖片、音檔、字符中的至少一項。
  9. 一種基於隱私保護確定目標業務模型的裝置，該目標業務模型用於處理給定的業務資料，得到相應的業務預測結果；該裝置包括：初始化單元，配置為按照預定方式為選定的業務模型確定多個模型參數各自對應的初始值，從而初始化該選定的業務模型；初始訓練單元，配置為使用多個訓練樣本訓練經過初始化的該選定的業務模型至該多個模型參數收斂，得到初始業務模型；修剪單元，配置為基於對該初始業務模型的修剪，確定該初始業務模型的多個子模型並得到修剪後的業務模型，其中，該多個子模型各自對應有透過該初始化單元和該初始訓練單元重新訓練確定的該多個模型參數以及模型指標：該初始化單元將該修剪後的業務模型的該多個模型參數重置為該初始業務模型中的相應的該多個模型參數的初始值；該初始訓練單元將該多個訓練樣本依次輸入該修剪後的業務模型，並基於相應樣本標籤與該修剪後的業務模型的輸出結果的對比，調整該多個模型參數；確定單元，配置為基於該多個子模型各自對應的該模型指標，利用差分隱私的第一方式從該多個子模型中選擇出該目標業務模型，其中，在該差分隱私的第一方式為指數機制的情況下，該確定單元配置為：按照該多個子模型各自對應的該模型指標，確定該多個子模型分別對應的各個可用性係數；根據該各個可用性係數，利用指數機制確 定該多個子模型分別對應的該各個採樣機率；按照該各個採樣機率在該多個子模型中採樣，並從該多個子模型中選擇出一個子模型作為該目標業務模型。
  10. 根據請求項9所述的裝置，其中，該修剪單元進一步配置為：按照該初始業務模型的該多個模型參數，對該初始業務模型進行修剪，得到第一修剪模型；將對應有經過重新訓練得到的該多個模型參數的第一修剪模型，作為第一子模型；迭代修剪該第一子模型得到後續子模型，直至滿足結束條件。
  11. 根據請求項10所述的裝置，該結束條件包括，迭代次數達到預定次數、迭代修剪該第一子模型得到的該後續子模型的數量達到預定數量、迭代修剪該第一子模型得到的該後續子模型的最後一個的規模小於設定的規模閾值中的至少一項。
  12. 根據請求項9或10所述的裝置，其中，該修剪單元對模型的修剪基於以下之一的方式，按照該多個模型參數由小到大的順序進行：修剪掉該多個模型參數中預定比例的模型參數、修剪掉該多個模型參數中預定數量的模型參數、修剪得到規模不超過預定大小的模型。
  13. 根據請求項9所述的裝置，其中，該裝置還包括隱私訓練單元，配置為：利用該多個訓練樣本對該目標業務模型基於差分隱私 的第二方式進行訓練，使得訓練後的該目標業務模型用於針對給定的業務資料進行保護資料隱私的業務預測。
  14. 根據請求項13所述的裝置，其中，該多個訓練樣本包括第一批樣本，該第一批樣本中的樣本i對應有經該目標業務模型處理後得到的損失，該隱私訓練單元進一步配置為：確定該樣本i對應的損失的原始梯度；利用該差分隱私的第二方式在該原始梯度上添加雜訊，得到包含雜訊的梯度；利用該包含雜訊的梯度，以最小化該樣本i對應的損失為目標，調整該目標業務模型的該多個模型參數。
  15. 根據請求項14所述的裝置，其中，該差分隱私的第二方式為添加高斯雜訊，該隱私訓練單元進一步配置為：基於預設的裁剪閾值，對該原始梯度進行裁剪，得到裁剪梯度；利用基於該裁剪閾值確定的高斯分佈，確定用於實現差分隱私的高斯雜訊，其中，該高斯分佈的變異數與該裁剪閾值的平方正相關；將該高斯雜訊與該裁剪梯度疊加，得到該包含雜訊的梯度。
  16. 一種電腦可讀儲存媒體，其上儲存有電腦程式，當該電腦程式在電腦中執行時，令電腦執行請求項1-8中任一項的所述的方法。
  17. 一種計算設備，包括儲存器和處理器，其特徵在於，該儲存器中儲存有可執行碼，該處理器執行該可執行碼時，實現請求項1-8中任一項所述的方法。
TW110110604A 2020-04-10 2021-03-24 基於隱私保護確定目標業務模型的方法及裝置 TWI769754B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202010276685.8A CN111177792B (zh) 2020-04-10 2020-04-10 基于隐私保护确定目标业务模型的方法及装置
CN202010276685.8 2020-04-10

Publications (2)

Publication Number Publication Date
TW202139045A TW202139045A (zh) 2021-10-16
TWI769754B true TWI769754B (zh) 2022-07-01

Family

ID=70655223

Family Applications (1)

Application Number Title Priority Date Filing Date
TW110110604A TWI769754B (zh) 2020-04-10 2021-03-24 基於隱私保護確定目標業務模型的方法及裝置

Country Status (3)

Country Link
CN (2) CN111177792B (zh)
TW (1) TWI769754B (zh)
WO (1) WO2021204272A1 (zh)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111177792B (zh) * 2020-04-10 2020-06-30 支付宝(杭州)信息技术有限公司 基于隐私保护确定目标业务模型的方法及装置
CN111368337B (zh) * 2020-05-27 2020-09-08 支付宝(杭州)信息技术有限公司 保护隐私的样本生成模型构建、仿真样本生成方法及装置
CN111475852B (zh) * 2020-06-19 2020-09-15 支付宝(杭州)信息技术有限公司 基于隐私保护针对业务模型进行数据预处理的方法及装置
CN112214791B (zh) * 2020-09-24 2023-04-18 广州大学 基于强化学习的隐私策略优化方法、系统及可读存储介质
CN114936650A (zh) * 2020-12-06 2022-08-23 支付宝(杭州)信息技术有限公司 基于隐私保护的联合训练业务模型的方法及装置
CN112561076B (zh) * 2020-12-10 2022-09-20 支付宝(杭州)信息技术有限公司 模型处理方法和装置
CN112632607B (zh) * 2020-12-22 2024-04-26 中国建设银行股份有限公司 一种数据处理方法、装置及设备
CN112926090B (zh) * 2021-03-25 2023-10-27 支付宝(杭州)信息技术有限公司 基于差分隐私的业务分析方法及装置
US20220318412A1 (en) * 2021-04-06 2022-10-06 Qualcomm Incorporated Privacy-aware pruning in machine learning
CN113221717B (zh) * 2021-05-06 2023-07-18 支付宝(杭州)信息技术有限公司 一种基于隐私保护的模型构建方法、装置及设备
CN113420322B (zh) * 2021-05-24 2023-09-01 阿里巴巴新加坡控股有限公司 模型训练、脱敏方法、装置、电子设备及存储介质
CN113268772B (zh) * 2021-06-08 2022-12-20 北京邮电大学 基于差分隐私的联合学习安全聚合方法及装置
CN113486402B (zh) * 2021-07-27 2024-06-04 平安国际智慧城市科技股份有限公司 数值型数据查询方法、装置、设备及存储介质
CN113923476B (zh) * 2021-09-30 2024-03-26 支付宝(杭州)信息技术有限公司 一种基于隐私保护的视频压缩方法及装置
CN114185619B (zh) * 2021-12-14 2024-04-05 平安付科技服务有限公司 基于分布式作业的断点补偿方法、装置、设备及介质
CN114338552B (zh) * 2021-12-31 2023-07-07 河南信大网御科技有限公司 一种确定时延拟态系统
CN114429222A (zh) * 2022-01-19 2022-05-03 支付宝(杭州)信息技术有限公司 一种模型的训练方法、装置及设备
CN114780999B (zh) * 2022-06-21 2022-09-27 广州中平智能科技有限公司 一种深度学习数据隐私保护方法、系统、设备和介质
CN115081024B (zh) * 2022-08-16 2023-01-24 杭州金智塔科技有限公司 基于隐私保护的去中心化业务模型训练方法及装置
CN115766507A (zh) * 2022-11-16 2023-03-07 支付宝(杭州)信息技术有限公司 业务异常检测方法及装置
CN116432039B (zh) * 2023-06-13 2023-09-05 支付宝(杭州)信息技术有限公司 协同训练方法及装置、业务预测方法及装置
CN116805082B (zh) * 2023-08-23 2023-11-03 南京大学 一种保护客户端隐私数据的拆分学习方法
CN117056979B (zh) * 2023-10-11 2024-03-29 杭州金智塔科技有限公司 基于用户隐私数据的业务处理模型更新方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107368752A (zh) * 2017-07-25 2017-11-21 北京工商大学 一种基于生成式对抗网络的深度差分隐私保护方法
CN110719158A (zh) * 2019-09-11 2020-01-21 南京航空航天大学 基于联合学习的边缘计算隐私保护系统及保护方法
US20200089917A1 (en) * 2018-09-14 2020-03-19 International Business Machines Corporation Providing differential privacy in an untrusted environment
US20200111022A1 (en) * 2018-10-03 2020-04-09 Cerebri AI Inc. Collaborative multi-parties/multi-sources machine learning for affinity assessment, performance scoring, and recommendation making

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10586068B2 (en) * 2015-11-02 2020-03-10 LeapYear Technologies, Inc. Differentially private processing and database storage
US11068605B2 (en) * 2018-06-11 2021-07-20 Grey Market Labs, PBC Systems and methods for controlling data exposure using artificial-intelligence-based periodic modeling
CN109657498B (zh) * 2018-12-28 2021-09-24 广西师范大学 多条流中top-k共生模式挖掘的差分隐私保护方法
CN110084365B (zh) * 2019-03-13 2023-08-11 西安电子科技大学 一种基于深度学习的服务提供系统及方法
CN110874488A (zh) * 2019-11-15 2020-03-10 哈尔滨工业大学（深圳） 一种基于混合差分隐私的流数据频数统计方法、装置、系统及存储介质
CN111177792B (zh) * 2020-04-10 2020-06-30 支付宝(杭州)信息技术有限公司 基于隐私保护确定目标业务模型的方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107368752A (zh) * 2017-07-25 2017-11-21 北京工商大学 一种基于生成式对抗网络的深度差分隐私保护方法
US20200089917A1 (en) * 2018-09-14 2020-03-19 International Business Machines Corporation Providing differential privacy in an untrusted environment
US20200111022A1 (en) * 2018-10-03 2020-04-09 Cerebri AI Inc. Collaborative multi-parties/multi-sources machine learning for affinity assessment, performance scoring, and recommendation making
CN110719158A (zh) * 2019-09-11 2020-01-21 南京航空航天大学 基于联合学习的边缘计算隐私保护系统及保护方法

Also Published As

Publication number Publication date
CN111177792A (zh) 2020-05-19
CN113515770B (zh) 2024-06-18
CN111177792B (zh) 2020-06-30
TW202139045A (zh) 2021-10-16
WO2021204272A1 (zh) 2021-10-14
CN113515770A (zh) 2021-10-19

Similar Documents

Publication Publication Date Title
TWI769754B (zh) 基於隱私保護確定目標業務模型的方法及裝置
US11010667B2 (en) Dictionary DGA detector model
US10713597B2 (en) Systems and methods for preparing data for use by machine learning algorithms
CN108073902B (zh) 基于深度学习的视频总结方法、装置及终端设备
JP2021533474A (ja) ノード分類方法、モデル訓練方法並びに、その装置、機器及びコンピュータプログラム
CN113220886A (zh) 文本分类方法、文本分类模型训练方法及相关设备
JP6965206B2 (ja) クラスタリング装置、クラスタリング方法およびプログラム
CN110222149B (zh) 一种基于新闻舆情的时间序列预测方法
CN110135681A (zh) 风险用户识别方法、装置、可读存储介质及终端设备
CN113554175B (zh) 一种知识图谱构建方法、装置、可读存储介质及终端设备
CN109145107B (zh) 基于卷积神经网络的主题提取方法、装置、介质和设备
CN111079930A (zh) 数据集质量参数的确定方法、装置及电子设备
CN113987236A (zh) 基于图卷积网络的视觉检索模型的无监督训练方法和装置
Tembine Mean field stochastic games: Convergence, Q/H-learning and optimality
Cho et al. Espn: Extremely sparse pruned networks
CN113011532A (zh) 分类模型训练方法、装置、计算设备及存储介质
CN116541592A (zh) 向量生成方法、信息推荐方法、装置、设备及介质
CN116384471A (zh) 模型剪枝方法、装置、计算机设备、存储介质和程序产品
CN116229180A (zh) 一种基于对称kld的处理多类型标签噪声的自适应动态阈值方法、系统、设备及介质
CN114265954B (zh) 基于位置与结构信息的图表示学习方法
CN107402984B (zh) 一种基于主题的分类方法及装置
CN112463964B (zh) 文本分类及模型训练方法、装置、设备及存储介质
KR20240034804A (ko) 자동 회귀 언어 모델 신경망을 사용하여 출력 시퀀스 평가
CN114861004A (zh) 一种社交事件检测方法、装置及系统
CN113011476B (zh) 基于自适应滑动窗口gan的用户行为安全检测方法